ai-gateway

Envoy AI Gateway 是一个基于 Envoy Gateway 构建的开源 AI 服务统一接入网关，用于集中管理应用客户端对多种生成式 AI 服务（如 LLM）的访问流量。它采用两级网关架构：一级网关负责全局认证、路由与限流；二级网关面向自托管模型集群，提供细粒度访问控制与推理端点智能调度。项目深度集成 Kubernetes 生态，支持 OpenAI、Azure OpenAI、Gemini、Vertex AI、AWS Bedrock 等主流云及开源 AI 提供商。适用于多模型混合部署、企业级 AI 服务治理、LLM 流量统一管控等场景。