torchtitan

torchtitan 是一个基于 PyTorch 原生技术构建的大模型训练平台，专注于生成式 AI 模型的快速实验与大规模分布式训练。它提供开箱即用的多维并行（如数据并行、张量并行、流水线并行）支持，采用轻量级、模块化设计，最小化对原始模型代码的侵入，并通过清晰的扩展点支持自定义训练逻辑与硬件适配。项目强调可读性、可维护性与研究友好性，适用于学术研究、工业界大模型预训练/微调及分布式训练框架评估等场景。