Mix-Quant

Mix-Quant 是一种面向智能体（Agentic）大语言模型推理的混合精度加速方案，针对长上下文场景中预填充（prefilling）阶段计算开销大、解码（decoding）阶段对数值精度敏感的问题，提出分阶段量化策略：在预填充阶段采用高吞吐的 NVFP4 低比特量化，在自回归解码阶段保持 BF16 精度，兼顾速度与生成质量。项目基于修改版 vLLM 实现预填充与解码服务的分离部署，适用于工具调用、记忆检索、多步推理等输入密集型 LLM 智能体应用。