MoonEP

MoonEP 是一个面向稀疏专家模型（MoE）的专家并行（Expert Parallelism）通信库，通过动态冗余专家机制实现跨设备的令牌负载完美均衡。其核心特点是：每张卡严格接收 S×K 个令牌（S 为每卡输入令牌数，K 为路由 top-k），借助在线 GPU 规划内核预取冗余专家权重，并在反向传播中归约梯度；采用零拷贝、静态形状的融合置换/逆置换设计，消除通信缓冲区与计算缓冲区间的冗余拷贝和主机同步。适用于大规模 MoE 模型训练，尤其在路由高度不均衡、易触发显存碎片或 OOM 的场景下，能稳定维持迭代耗时与内存占用。