sentencepiece

SentencePiece 是一个无监督的文本分词与逆分词工具，专为神经网络文本生成任务设计。它支持字节对编码（BPE）和Unigram语言模型两种子词切分算法，可直接从原始文本训练分词模型，无需依赖语言特定的预处理工具；具备语言无关性、子词正则化（如BPE-dropout）、高吞吐与低内存占用等特性。适用于机器翻译、大语言模型预处理、多语言NLP建模等需固定词汇表的端到端训练场景。