audio-vis-align

Audio-Vis-Align 是一个面向音视频跨模态表征对齐的研究型工具包，实现音频与视频片段在共享隐空间中的对比学习（类似CLIP范式）。核心功能包括双塔编码器架构（基于Log-Mel谱图+Transformer的音频编码器、3D-patch ViT视觉编码器）、对称InfoNCE损失训练、分布式训练支持（DDP）、EMA优化、多种评估协议（零样本检索、线性探针等），并提供可复现的预训练与微调配置。项目代码精简（<3k行）、设计透明，适用于音视频联合表征学习、多模态检索、跨模态理解等研究场景。