tensorzero

TensorZero is an open-source LLMOps platform that unifies an LLM gateway, observability, evaluation, optimization, and experimentation.

AI 简介

TensorZero 是一个开源的LLMOps平台，集成了大语言模型（LLM）网关、可观测性、评估、优化和实验等功能。其核心功能包括通过统一API访问所有LLM提供商（性能达到<1ms p99延迟）、存储推理与反馈数据、使用启发式方法及LLM评判进行基准测试、收集指标和人类反馈以优化提示词、模型及推理策略，以及内置A/B测试等。该平台采用Rust语言开发，支持OpenAI SDK、OpenTelemetry，并兼容各大主流LLM供应商。TensorZero适用于从前沿AI初创公司到财富十强企业等多种规模组织，在需要高效管理和优化LLM应用的场景中尤为适用。