headroom

Headroom 是一个专为大型语言模型（LLM）应用设计的上下文优化层。它通过压缩AI代理读取的所有内容，如工具输出、日志、检索增强生成（RAG）片段、文件和对话历史记录，在保持相同答案质量的同时显著减少了所需的令牌数量。项目支持多种算法，具备本地优先且可逆的特点，并提供库、代理及代理包装器等多种使用方式，适用于需要高效处理大量文本数据以降低成本或提高性能的各种AI应用场景。