blt

BLT（Byte Latent Transformer）是一个面向字节级建模的大语言模型架构，无需传统词元化（tokenization），直接以原始字节流为输入进行端到端训练。其核心创新在于动态熵驱动的字节分块机制——将字节序列划分为可变长度的“补丁”（patches），并在补丁与字节层级间设计新型注意力机制和字节序列记忆模块，显著提升推理效率、鲁棒性及长尾泛化能力。项目支持最大80亿参数、8万亿字节规模的纯字节训练，在代码理解、低资源语言建模及抗噪声文本生成等对原始序列敏感的场景中具有优势。