DeepSpeed

DeepSpeed 是一个面向深度学习模型训练与推理的高性能优化库，专注于大规模模型的分布式训练加速与资源效率提升。它提供 ZeRO 系列内存优化、模型/数据/流水线并行、混合专家（MoE）、低精度训练、CPU/NVMe 卸载等核心能力，并深度集成 PyTorch。项目支持百亿至万亿参数模型的高效训练与部署，显著降低显存占用与通信开销。适用于大语言模型（LLM）研发、学术研究、工业级 AI 平台构建等需要扩展性与成本效益平衡的场景。