llmix

LLMix 是一个面向生产环境的 LLM 调用中间层，用于统一管理 AI 代理与工具调用的基础设施逻辑。它不替换现有 SDK（如 OpenAI、Anthropic、Gemini、LiteLLM），而是以非侵入方式封装调用，提供模型热切换（基于 MDA 预设）、响应缓存、重试机制、熔断器、API 密钥轮转、单飞行（singleflight）及跨语言（Python/TypeScript/Rust）行为一致性。核心特点是配置驱动、模型行为数据化、无需代码重部署即可变更模型或提供商。适用于需要高可靠性、多模型协同、密钥安全管理和跨服务语言统一调用策略的 AI 应用与 LLMOps 场景。