litellm
BerriAI
Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in OpenAI (or native) format, with cost tracking, guardrails, loadbalancing and logging. [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, VLLM, NVIDIA NIM]
AI 简介
LiteLLM 是一个开源 AI 网关（AI Gateway），提供统一接口调用 100+ 大语言模型服务（如 OpenAI、Anthropic、Azure、Bedrock、Vertex AI 等），兼容 OpenAI API 格式。核心功能包括轻量级 Python SDK、可自托管的代理服务器、成本追踪、请求负载均衡、安全护栏（guardrails）及完整日志记录。支持多云与混合部署，适用于需要统一接入异构 LLM 服务、实现模型抽象、集中治理与可观测性的企业级 AI 应用开发与 MLOps 场景。
Python
Other53.2k
Stars
9.6k
Forks
212
Watchers
1.4k
Issues
Star 增长
今日0
近 7 天0
近 30 天+1461
综合评分80
默认分支litellm_internal_staging