Mooncake

Mooncake 是由 Moonshot AI 提供的一个领先的大规模语言模型（LLM）服务 Kimi 的服务平台。它基于键值缓存（KVCache）为中心的解耦架构，通过RDMA技术实现高效的跨实例KV缓存共享，显著提升了推理过程中的吞吐量和内存使用效率。该项目还支持SGLang，并与vLLM集成，进一步优化了大规模分布式环境下的性能表现。适用于需要高性能、低延迟的语言模型推理场景，如在线客服系统、智能写作助手等应用。