Megatron-LM

Megatron-LM 是 NVIDIA 开发的面向大规模 Transformer 模型训练的 GPU 优化框架，包含 Megatron-LM（开箱即用训练示例）和 Megatron Core（可组合式底层库）两个组件。核心功能包括张量并行（TP）、流水线并行（PP）、数据并行（DP）、专家并行（EP）与上下文并行（CP）等先进分布式训练策略，支持 FP16/BF16/FP8/FP4 混合精度，并提供模块化 Transformer 构建块。适用于需要在多 GPU/多节点集群上高效训练百亿至千亿级参数语言模型的研究团队与 AI 工程师，尤其适合大模型预训练、微调及定制化训练框架开发场景。