tensorzero

TensorZero is an open-source LLMOps platform that unifies an LLM gateway, observability, evaluation, optimization, and experimentation.

AI 简介

TensorZero 是一个开源的 LLMOps 平台，旨在统一 LLM 服务的接入、可观测性、评估、优化与实验能力。它提供高性能统一网关（支持 OpenAI、Anthropic、Llama 等所有主流厂商，p99 延迟 <1ms）、结构化推理与反馈存储、基于规则或 LLM 的自动化评估、基于指标与人工反馈的提示/模型/策略优化，以及 A/B 测试、路由、降级与重试等实验功能。平台支持渐进式采用，兼容 OpenAI SDK 和 OpenTelemetry，适用于需要规模化部署、持续迭代和生产级治理 LLM 应用的企业级场景。