aibrix

AIBrix 是一个面向生成式人工智能（GenAI）推理场景的轻量级、可插拔基础设施框架，专为高效部署和规模化管理大语言模型（LLM）推理服务而设计。它提供云原生架构支持，深度集成 Kubernetes，具备动态扩缩容、多模型路由、资源调度优化与 vLLM 运行时协同等核心能力，采用 Go 语言实现，兼顾性能与企业级稳定性。适用于需要低成本、高弹性、可运维的 LLM 在线服务场景，如 AI 应用平台、企业知识库问答系统及私有化 AI 服务平台。