picotron

Picotron 是一个专为教育目的设计的极简4D并行分布式训练框架，用于预训练类似Llama的模型。它支持数据、张量、流水线和上下文四种并行方式，代码简洁易读，核心文件如`train.py`、`model.py`及各并行模块均不超过300行，便于学习者快速掌握分布式训练技术。尽管性能不是最优，但仍在持续优化中，使用64个H100 GPU对LLaMA-2-7B模型进行训练时可达到38%的最大频率利用率。该项目非常适合教学场景或个人研究实验，尤其是对于希望深入了解现代大规模语言模型训练背后原理的研究人员和学生而言。