xtuner

XTuner 是一个专为超大规模混合专家（MoE）大语言模型设计的下一代训练引擎。它支持无丢弃（Dropless）训练，可高效训练200B级MoE模型而无需专家并行，600B模型仅需节点内专家并行；内置长序列优化能力，支持64k长度训练且无需序列并行，并兼容DeepSpeed Ulysses。技术上采用轻量级、模块化设计，深度适配主流MoE架构（如Qwen3-MoE、Intern-S1），显著降低分布式训练复杂度。适用于学术研究与工业界对超大规模MoE模型进行高效预训练、持续训练及领域适配的场景。