dynamo

Dynamo 是一个数据中心规模的分布式推理服务框架，旨在为大规模语言模型（LLM）、推理、多模态及视频生成工作负载提供高效的计算资源调度。该项目采用 Rust 语言构建以确保高性能，并通过 Python 实现扩展性。其核心功能包括解聚服务、智能路由、多层次KV缓存以及自动伸缩，这些特性共同作用于提升吞吐量并减少延迟。Dynamo 适用于需要跨多个GPU或节点协调服务的大规模语言模型场景，尤其是当用户希望利用KV感知路由避免重复预填充计算时，或是需要独立地扩展预填充与生成阶段的服务时。