LLMLingua

LLMLingua 是一个面向大语言模型（LLM）的提示压缩与 KV 缓存优化工具，旨在加速推理并提升关键信息感知能力。其核心功能包括：基于语义重要性对输入 prompt 进行无损/低损压缩（最高达 20 倍），支持长文本场景的 LongLLMLingua 扩展，以及 LLMLingua-2 的显著性能升级（3–6 倍加速）；技术上融合注意力分析、重要性打分与结构保持策略，并兼容 Hugging Face、LangChain 和 LlamaIndex 等主流框架。适用于 RAG、长上下文问答、多文档摘要等需高效处理大量提示文本的生产级 LLM 应用场景。