xDiT

xDiT是一个专为扩散变换器（DiTs）设计的大规模并行推理引擎，旨在通过多计算设备实现高效部署。该项目利用了多种先进的并行技术如统一序列并行（USP）、管道融合（PipeFusion）以及数据并行等方法来加速DiTs模型的推理过程，并且还提供了针对单GPU环境下的编译与缓存加速方案。xDiT非常适合需要实时处理高质量图像或视频生成的应用场景，尤其是在面对输入上下文长度增加导致计算需求呈指数级增长的情况下，能够有效支持在线服务对性能的要求。