DualPipe

DualPipe 是一种面向大模型训练的双向流水线并行算法，旨在实现前向与反向计算和通信的完全重叠，显著减少流水线气泡并提升硬件利用率。其核心特点是通过双向微批次调度（正向与反向交替执行）和计算-通信重叠机制，在保持模型并行扩展性的同时降低通信等待开销；支持 DualPipeV 等衍生精简调度变体。适用于千亿级参数模型在多GPU集群上的高效分布式训练，尤其适合计算与通信带宽比受限的大规模语言模型训练场景。