ferrocache

FerroCache 是一个为大型语言模型应用设计的分布式语义缓存服务。它使用Rust编写，支持多节点部署，并兼容MCP协议。核心功能包括通过HNSW进行语义相似度搜索、精确匹配预过滤、可配置的余弦相似度阈值以及基于TTL的LRU淘汰策略等。此外，FerroCache还提供了命名空间隔离、写前日志持久化、同步写复制等特性来增强数据安全性和系统可靠性。该服务特别适合需要频繁调用LLM API的应用场景，如聊天机器人、智能客服等，能够有效降低API调用成本并提高响应速度。