tokenspeed

TokenSpeed 是一个面向智能体（agentic）工作负载的高性能大语言模型推理引擎，旨在实现接近物理极限的推理速度。其核心特性包括：基于静态编译的本地SPMD建模层，避免手动编写并行逻辑；状态机驱动的C++/Python混合调度器，保障KV缓存安全复用；支持MLA（多头潜在注意力）等定制化核函数，尤其针对Blackwell架构优化；以及低开销的异步请求入口。适用于需要高吞吐、低延迟、强可靠性的AI智能体生产部署场景，当前为预览版本，暂不推荐用于正式生产环境。