le-wm

LeWorldModel是一个基于像素的稳定端到端联合嵌入预测架构，用于从原始图像数据中学习紧凑的潜在空间世界模型。该项目通过仅使用两个损失项（下一个嵌入预测损失和一个正则化器）来确保高斯分布的潜在嵌入，从而简化了训练过程，减少了可调参数数量，并提高了模型稳定性。该模型具有约1500万参数，在单个GPU上几个小时内即可完成训练，适用于2D和3D控制任务等场景，同时在物理量编码方面表现出色。此外，LeWorldModel能够检测到物理上不合理的事件，显示出其对异常情况的敏感性。此项目适合需要高效、稳定且易于部署的世界模型的应用场景，如机器人导航、游戏AI等。