openlit

OpenLIT 是一个开源的 AI 工程平台，专注于大语言模型（LLM）全生命周期可观测性与运维支持。核心功能包括 OpenTelemetry 原生的分布式追踪与指标采集、GPU 资源监控（支持 NVIDIA/AMD）、内置 11 类自动化评估、提示词管理、安全密钥 Vault、规则引擎（Guardrails）及交互式 Playground。技术上深度兼容 OpenTelemetry 语义规范，支持 50+ LLM 服务商、向量数据库与智能体框架。适用于需要在生产环境中可靠监控、调试、评估和治理生成式 AI 应用的研发与 MLOps 团队。