dreamers-laboratory

ai-evaluation-framework

dreamers-laboratory

Accuracy, latency p95, and cost benchmarking for model-based solutions, with per-field ground-truth scoring.

AI 简介

这是一个面向模型解决方案的多维评估框架,用于系统化衡量准确性、P95延迟和单位成本三大关键指标。其核心特点是支持按字段定义细粒度评分规则(如identifier、numeric、token-overlap等),结合真实标注用例进行模型无关的基准测试;支持OpenAI/Anthropic及兼容网关,零npm依赖,结果可导出为表格或JSON。适用于文档解析、结构化抽取、表单识别等需严格验证输出正确性的生产级AI应用评估场景。

JavaScript
Apache License 2.0
105
Stars
36
Forks
113
Watchers
0
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分44.7
默认分支main