chopratejas

headroom

chopratejas

Compress tool outputs, logs, files, and RAG chunks before they reach the LLM. 60-95% fewer tokens, same answers. Library, proxy, MCP server.

AI 简介

Headroom 是一个面向 AI 代理的上下文压缩层,用于在数据进入大语言模型前对工具输出、日志、RAG 检索片段、文件及对话历史进行语义感知压缩。它提供库模式、代理服务和 MCP 服务器三种集成方式,支持 6 种可逆压缩算法,实测减少 60–95% 的输入 token,同时保持回答准确性。技术上采用本地优先设计,兼容 OpenAI、Anthropic 等主流 LLM 接口,并与 LangChain、FastAPI 等生态深度适配。适用于 RAG 应用、智能体(Agent)开发、长上下文推理优化等需严格控制 token 成本与上下文窗口的生产场景。

Python
Apache License 2.0
43.6k
Stars
3k
Forks
133
Watchers
217
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分70
默认分支main