xtuner

InternLM/xtuner 是一个专为超大规模混合专家模型（MoE）设计的下一代训练引擎。其核心功能包括无损训练和长序列支持，通过优化的并行策略实现200B规模的MoE模型在不使用专家并行的情况下进行训练，600B模型仅需节点内专家并行；同时，借助先进的内存优化技术，该引擎能够在64k序列长度上训练200B MoE模型而无需序列并行。此外，它还全面支持DeepSpeed Ulysses序列扩展。适用于需要高效处理大规模多模态数据及复杂自然语言任务的研究与开发场景。