optillm

OptiLLM 是一个开源的 LLM 推理优化代理，作为 OpenAI API 兼容的轻量级代理服务器，在不修改模型、无需训练的前提下，通过集成 20+ 推理时优化技术（如 Mixture of Agents、Monte Carlo Tree Search、Chain-of-Thought 调度等）显著提升大语言模型在数学、代码与逻辑推理任务上的准确率（实测提升 2–10 倍）。它支持多厂商后端（OpenAI、Anthropic、Google 等）和 100+ 模型，仅需重定向 API 请求即可启用。适用于需要低成本增强现有 LLM 推理能力的研究、Agent 工作流及生产级 AI 应用场景。