llmgateway

LLM Gateway 是一个开源的大型语言模型（LLM）API网关，用于统一接入、路由和管理多个LLM服务商的请求。它提供与OpenAI兼容的API接口，支持OpenAI、Anthropic、Google Vertex AI等主流提供商；内置API密钥集中管理、细粒度速率限制、实时token用量与成本统计、响应性能监控及跨模型对比分析能力。适用于需要多模型协同、成本可控、可观测性强的企业级AI应用开发与运维场景，既支持SaaS托管也支持私有化部署。