litellm

LiteLLM 是一个开源的AI网关，提供了一个统一的接口来调用超过100种大语言模型（LLM）提供商的服务，包括OpenAI、Anthropic、Bedrock、Azure等，并支持使用OpenAI格式。其核心功能包括成本跟踪、安全防护、负载均衡和日志记录。技术上，它既可作为Python SDK直接集成到项目中，也可以部署为AI网关（代理服务器），以集中化的方式服务于团队或组织。适用于需要跨多个LLM提供商进行开发的企业级应用场景，特别是那些重视成本控制、性能优化以及安全合规性的企业。