molmoact2

MolmoAct2 是由艾伦人工智能研究所开发的一系列用于机器人控制和实际部署的动作推理模型。该项目基于 Molmo2-ER 的具身推理视觉-语言基础架构，增加了对机器人状态与动作的建模，并通过流匹配连续动作专家将视觉-语言模型连接起来，实现闭环操作。其核心功能包括提供可继续训练的基础检查点、用于评估和部署的微调机器人策略以及构建 MolmoAct2 和 Molmo2-ER 所需的数据集。此外，MolmoAct2 还提供了FastAPI推理服务器和lerobot工作流程以支持快速集成和真实世界中的应用。此项目特别适用于需要高级动作理解和执行能力的机器人应用场景，如工业自动化、服务机器人等。