vjepa2

V-JEPA 2 是一个基于自监督学习的视频编码器训练方法，使用大规模互联网视频数据进行训练，在运动理解和人类行为预测任务中达到顶尖性能。其核心功能包括密集预测损失、深层自监督和多模态分词器等技术特点，能够学习高质量且时间一致的密集特征。V-JEPA 2 及其变体 V-JEPA 2-AC 和 V-JEPA 2.1 适用于需要对视频内容有深入理解的应用场景，如机器人操作任务、视频内容分析及预测等领域。此外，通过少量机器人轨迹交互数据的后训练，V-JEPA 2-AC 能够解决机器人操纵任务，无需特定环境的数据收集或任务特定训练。项目提供了官方 PyTorch 代码库和预训练模型，便于研究人员和开发者快速上手。