MLS-Bench

MLS-Bench 是一个面向机器学习科学研究的基准测试工具。它不仅评估固定实例上的工程能力，还挑战AI代理能否提出新的组件、损失函数、优化器或训练流程，并在不同设置、种子、数据集和规模上保持有效性。项目覆盖了12个ML研究领域的140项任务，每项任务都提供了一个研究框架、相关源代码及强大的基线实现，要求在限定范围内进行算法改进。MLS-Bench 支持多种运行时后端（Docker、Apptainer或本地Conda）与作业调度器（SLURM或内置单节点GPU调度器），适用于需要对机器学习模型进行创新性改进的研究场景。