
leanctx
jia-gao
Drop-in prompt compression for production LLM apps. Cut your token bill 40-60% without changing your code. Python SDK, LLMLingua-2, MIT.
AI 简介
leanctx 是一个即插即用的提示词压缩工具,专为生产环境中的大语言模型应用优化输入 token 开销。它基于 LLMLingua-2 实现语义感知的上下文压缩,在保持原始 API 接口不变的前提下,减少 40–60% 输入 token,同时显著优于简单截断(如 LongBench v2 短任务中准确率提升一倍)。支持 OpenAI、Anthropic、Gemini 等主流 LLM 接口,本地运行、MIT 开源,用户数据不出内网。适用于 RAG 系统、长对话代理(LangChain/LangGraph)、文档处理流水线及工具调用历史累积等高上下文长度场景。
Python
MIT License312
Stars
2
Forks
30
Watchers
1
Issues
Star 增长
今日0
近 7 天0
近 30 天+1
综合评分41.53
默认分支main