Accio-org

RealReplicaBench

Accio-org

RealReplicaBench: Benchmarking Long-Horizon Agents in High-Fidelity, Stateful, and Reproducible Replicas of Real Online Services

AI 简介

RealReplicaBench 是一个面向长周期、状态化智能体的基准测试框架,用于评估AI代理在高保真、可复现的线上服务仿真环境中执行真实商业工作流的能力。其核心功能包括107个覆盖CLI、浏览器操作、文件处理与API/MCP调用的多样化任务,支持文本、文本+浏览器、视觉三类能力切片;采用本地容器化沙箱与专用确定性/LLM辅助验证器,保障状态一致性与结果可审计。适用于大模型智能体研发团队对自动化办公、电商运营、SaaS集成等复杂业务场景下的代理能力进行系统性评测与迭代优化。

HTML
Apache License 2.0
1k
Stars
79
Forks
1k
Watchers
0
Issues

Star 增长

今日0
近 7 天0
近 30 天+5
综合评分54.21
默认分支main