Mooncake

Mooncake 是一个面向大语言模型（LLM）推理服务的 KV Cache 中心化解耦架构平台，专为高效共享和调度分布式键值缓存而设计。其核心功能包括基于 RDMA 的低延迟 KVCache 远程访问、支持跨实例缓存复用的 Mooncake Store，以及高吞吐权重传输引擎；技术上融合解耦计算与存储、硬件加速通信（RDMA）、细粒度缓存管理等特性。适用于大规模 LLM 在线服务场景，尤其适合需降低显存压力、提升多请求缓存命中率与集群资源利用率的推理系统。