
ai-evaluation-framework
dreamers-laboratory
Accuracy, latency p95, and cost benchmarking for model-based solutions, with per-field ground-truth scoring.
AI 简介
这是一个面向模型解决方案的多维评估框架,用于系统化衡量准确性、P95延迟和单位成本三大关键指标。其核心特点是支持按字段定义细粒度评分规则(如identifier、numeric、token-overlap等),结合真实标注用例进行模型无关的基准测试;支持OpenAI/Anthropic及兼容网关,零npm依赖,结果可导出为表格或JSON。适用于文档解析、结构化抽取、表单识别等需严格验证输出正确性的生产级AI应用评估场景。
JavaScript
Apache License 2.0105
Stars
36
Forks
113
Watchers
0
Issues
Star 增长
今日0
近 7 天0
近 30 天0
综合评分44.7
默认分支main