uni-mm-trainer

UniMM-Trainer 是一个轻量级 Python 库，用于统一训练融合文本、视觉与音频中至少两种模态的大型语言模型。其核心功能包括：灵活组合冻结的多模态编码器（如 CLIP/Whisper/Qwen）、支持多种投影适配器（线性层、Q-Former、Perceiver Resampler）并自动集成训练逻辑，以及提供模态平衡损失、梯度范数和注意力熵等实用监控指标。项目专注训练阶段的工程简化，不提供模型发布或推理服务。适用于学术研究、多模态对齐实验及快速原型验证等场景，尤其适合需复用现有单模态编码器并仅微调适配器的研究者。