
RealReplicaBench
Accio-org
RealReplicaBench: Benchmarking Long-Horizon Agents in High-Fidelity, Stateful, and Reproducible Replicas of Real Online Services
AI 简介
RealReplicaBench 是一个面向长周期、状态化智能体的基准测试框架,用于评估AI代理在高保真、可复现的线上服务仿真环境中执行真实商业工作流的能力。其核心功能包括107个覆盖CLI、浏览器操作、文件处理与API/MCP调用的多样化任务,支持文本、文本+浏览器、视觉三类能力切片;采用本地容器化沙箱与专用确定性/LLM辅助验证器,保障状态一致性与结果可审计。适用于大模型智能体研发团队对自动化办公、电商运营、SaaS集成等复杂业务场景下的代理能力进行系统性评测与迭代优化。
HTML
Apache License 2.01k
Stars
79
Forks
1k
Watchers
0
Issues
Star 增长
今日0
近 7 天0
近 30 天+5
综合评分54.21
默认分支main