ai-gateway

Envoy AI Gateway 是一个基于 Envoy Gateway 构建的开源项目，用于管理和统一访问生成式AI服务。它采用两层网关模式，其中第一层网关作为集中入口点，处理认证、顶级路由和全局速率限制；第二层网关则专注于自托管模型集群的流量接入，并支持端点选择器以优化LLM推理。该项目使用Go语言开发，支持多种主流AI提供商（如OpenAI, Azure OpenAI, Google Gemini等），便于集成到现有的LLM服务中。适用于需要对多个AI服务进行统一管理和访问控制的企业级应用场景，尤其是那些已经在Kubernetes上运行工作负载的组织。