LeVJEPA

LeVJEPA 是一个面向视频表征学习的自监督预训练框架，旨在以极简架构实现无坍塌（collapse-free）的视频编码器训练。其核心采用单编码器结构，通过全局-局部视图不变性损失与 SIGReg 正则化（约束嵌入服从各向同性高斯分布）直接避免表征坍塌，无需EMA目标网络、stop-gradient或专用预测头。技术特点包括：支持激进随机token丢弃作为数据增强、原生兼容块因果注意力（适配流式推理）、输入端无需tubelet聚合。适用于视频理解、下游任务迁移（如动作识别）、资源受限场景下的高效视频表征学习。