tokenizers

Hugging Face Tokenizers 是一个高性能的文本分词器库，专为自然语言处理任务设计。它提供 BPE、WordPiece、Unigram 等主流分词算法的 Rust 实现，支持训练自定义词表、端到端预处理（归一化、截断、填充、特殊 token 添加）及字符级对齐追踪；依托 Rust 底层实现，在 CPU 上可实现 GB 级文本秒级分词。适用于大语言模型研发、NLP 工程部署及需要高吞吐与精确 token-position 映射的研究场景。