torchtitan

torchtitan 是一个基于 PyTorch 的原生平台，专为生成式 AI 模型的快速实验和大规模训练设计。该项目的核心功能包括支持多维度并行化技术，同时保持模型代码的最小改动，以简化开发流程。此外，它还提供了扩展点，允许用户根据具体需求定制扩展功能。torchtitan 适用于需要高效训练大型生成式 AI 模型的研究者与开发者，尤其是在探索新模型架构或优化现有基础设施时。