leanctx

leanctx 是一个用于生产环境中的大语言模型应用的提示压缩工具，能够帮助用户在不修改代码的情况下减少40-60%的输入令牌成本。其核心功能包括通过简单的Python SDK集成实现请求压缩，并支持LLMLingua-2技术以提高准确性同时大幅度减少令牌使用量。该项目特别适用于需要处理大量文本数据的应用场景，如基于检索的生成应用程序、长时间运行的对话代理、文档处理流程以及具有不断增长工具调用历史记录的编码助手等。leanctx提供了一个开源且本地运行的解决方案，确保用户的提示和数据默认情况下不会离开其基础设施，从而增强了安全性与隐私保护。