RouteLLM

RouteLLM 是一个用于部署与评估大语言模型（LLM）路由策略的开源框架，旨在通过智能分发查询到不同成本/能力层级的模型来降低推理开销。其核心支持 OpenAI 兼容接口的无缝替换，内置经验证的路由模型（如 MF 路由器），可在保持 95% GPT-4 水平质量的前提下降低最高达 85% 的调用成本；支持多基准评测、阈值校准及本地/第三方模型接入。适用于需要平衡响应质量与服务成本的生产级 LLM 应用场景，如智能客服、API 网关、企业知识助手等。