VeOmni

VeOmni 是一个面向多模态与全模态大模型训练的分布式训练框架，旨在通过模型中心化的分布式策略组合（Recipe Zoo）实现任意模态模型的高效可扩展训练。其核心支持 FSDP/FSDP2、序列并行（基于 DeepSpeed Ulysses）、专家并行（MOE）及优化的 GroupGEMM 内核，并采用无 Trainer 设计，提供透明可控的线性训练脚本，同时兼容 PyTorch 原生机制。适用于需要灵活定制分布式策略的大模型预训练、后训练及强化学习场景，尤其适合多模态基础模型（如 VLM、Omni-model）在异构加速器集群上的规模化训练。