dynamo

Dynamo 是一个面向数据中心规模的大模型推理服务框架，用于统一调度和协同多个底层推理引擎（如 vLLM、SGLang、TensorRT-LLM），构建高吞吐、低延迟的分布式推理系统。其核心功能包括跨节点的推理任务编排、KV缓存感知的智能路由、分层KV缓存、动态扩缩容及计算-存储解耦架构；采用 Rust 实现高性能底层，Python 提供灵活扩展接口。适用于需在多GPU或多机环境下部署 LLM、多模态或视频生成等大模型服务的企业级推理平台。