openlit

Open source platform for AI Engineering: OpenTelemetry-native LLM Observability, GPU Monitoring, Guardrails, Evaluations, Prompt Management, Vault, Playground. 🚀💻 Integrates with 50+ LLM Providers, VectorDBs, Agent Frameworks and GPUs.

AI 简介

OpenLIT 是一个开源的AI工程平台，专注于提供LLM可观测性、GPU监控、护栏、评估、提示管理和安全存储等功能。其核心功能包括支持OpenTelemetry原生的可观测性SDK（Python、TypeScript和Go），内置11种评估类型，以及详细的分析仪表板，帮助开发者全面监控AI应用的健康状况和性能。该平台还集成了50多种LLM提供商、向量数据库、代理框架和GPU，适用于需要高效管理和监控AI模型开发及部署的场景，如生成式AI项目。