gpt-fast

gpt-fast 是一个轻量级 PyTorch 原生大语言模型推理引擎，专注于极简实现与高性能文本生成。核心功能包括 int4/int8 量化、推测解码（speculative decoding）、张量并行、对 LLaMA/Mixtral/Gemma/Grok-1 等主流开源模型的原生支持，且依赖仅限 PyTorch 和 SentencePiece，代码量低于 1000 行。其设计目标是低延迟单用户推理（batch size=1），适合需要快速验证、定制化部署或教学演示的场景，而非通用框架。