GPTCache

GPTCache 是一个面向大语言模型（LLM）的语义缓存库，用于缓存相似语义的用户查询及其响应，避免重复调用昂贵的 LLM API。它支持向量相似度匹配、多后端存储（如 Redis、Milvus）、与 LangChain 和 LlamaIndex 深度集成，并提供 Python SDK 及跨语言服务端部署能力。核心特点是基于语义而非文本精确匹配的缓存策略，兼顾命中率与响应延迟优化。适用于高并发问答系统、对话机器人、RAG 应用等需降低 LLM 调用成本与提升响应速度的生产场景。