primitive-bench

primitive-bench

primitive-bench

The marketplace for verifiable AI outcomes: state a task, get a fixed price upfront, and Primitive Bench routes across tools to complete it, refunded if the outcome isn't delivered. This repo is the open verification layer.

AI 简介

Primitive Bench 是一个面向 AI 基础设施组件的厂商中立基准测试框架,用于科学评估 OCR、网络搜索、向量数据库、重排序器、检索、信息抽取、分块、爬虫和记忆等底层能力。它采用按场景切片(per-slice)、按约束条件(per-constraint)的细粒度评测方法,提供带置信区间的统计可区分结果,避免全局单一排名。项目包含统一评测引擎、适配器 SDK、各 primitive 的专用评估包及公开开发数据集,核心设计强调可复现性与结果可信性。适用于 AI 系统架构选型、基础设施组件对比验证及 MLOps 工具链集成等技术决策场景。

Python
Apache License 2.0
126
Stars
4
Forks
2
Watchers
6
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分42.1
默认分支main