DeepEP

DeepEP 是一个面向大模型训练与推理的高效专家并行（Expert Parallelism, EP）通信库。它提供高吞吐、低延迟的 GPU 全对全（all-to-all）内核，支持 MoE 的调度（dispatch）与聚合（combine）操作，并原生兼容 FP8 等低精度数据类型；采用轻量级运行时 JIT 编译，依赖 NCCL Gin 后端，实现零或极低 SM 占用（最低仅需 4–6 个 SM）。项目还实验性支持流水线并行（PP）、上下文并行（CP）和远程内存访问（Engram）。适用于大规模稀疏 MoE 模型（如 Mixtral、DeepSeek-MoE）在多卡/多节点集群上的高效分布式训练与推理。