ferrocache

FerroCache 是一个面向大语言模型（LLM）应用的分布式语义缓存服务，用于复用语义相似查询的响应以降低 API 调用成本。它基于 Rust 实现，提供 HTTP 接口，支持多节点集群、HNSW 近似最近邻检索、命名空间隔离（按模型/租户/会话）、WAL 持久化、同步写复制与故障自愈；兼容 MCP 协议，并提供 OpenAI/Anthropic/LangChain/LlamaIndex 等主流 SDK 的无缝集成。适用于高并发、多服务共享缓存、需跨进程/跨重启持久化的 LLM 服务场景。