tiktoken

tiktoken 是一个专为 OpenAI 大语言模型设计的高性能字节对编码（BPE）分词器，用于将文本高效转换为模型可处理的 token ID 序列，并支持逆向解码还原原文。其核心特点是基于 C 扩展实现，速度比同类开源分词器快 3–6 倍；内置适配 GPT-4、GPT-3.5、Claude 等主流模型的预定义编码（如 cl100k_base、o200k_base），并提供教育子模块辅助理解 BPE 原理。适用于 LLM 应用开发中的 token 计数、上下文长度控制、输入预处理及推理优化等场景。