minbpe

minbpe 是一个极简、可读性强的字节对编码（BPE）算法实现库，专为大语言模型（LLM）分词器设计。它提供三种 tokenizer：基础版（BasicTokenizer）、支持正则预处理的 RegexTokenizer（复现 GPT-2/GPT-4 分词逻辑），以及与 OpenAI tiktoken 兼容的 GPT4Tokenizer；全部基于 UTF-8 字节流，支持训练、编码、解码全流程，并附带完整注释与示例。项目代码精炼（单文件百行级）、无外部依赖，适合教学理解 BPE 原理、快速构建轻量 tokenizer 或调试 LLM 分词行为。