GPTCache

GPTCache 是一个用于为大型语言模型（LLMs）创建语义缓存的库。其核心功能包括通过缓存先前的查询结果来显著降低 LLM API 调用的成本，并大幅提升响应速度，支持与 LangChain 和 llama_index 完全集成。技术上，GPTCache 利用了向量搜索等高级方法来进行高效的相似性匹配。适用于需要频繁调用 LLMs 但又希望控制成本和提高性能的应用场景，如聊天机器人、自动问答系统等。