horovod

Horovod 是一个用于加速深度学习模型分布式训练的开源框架，支持 TensorFlow、Keras、PyTorch 和 MXNet 等主流框架。其核心采用 Ring-AllReduce 通信算法，通过 MPI 或 NCCL 实现高效跨节点梯度同步，显著降低通信开销；提供极简 API（仅需少量代码修改），兼容单机多卡与多机多卡部署。适用于大规模模型训练场景，如自然语言处理、计算机视觉等需要快速扩展计算资源的任务，尤其适合已有单机训练脚本需平滑迁移到分布式环境的团队。