picotron

Picotron 是一个面向教学与研究实验的极简分布式训练框架，专为理解大语言模型预训练中的四维并行技术（数据、张量、流水线、上下文并行）而设计。其核心特点是代码高度精简（各模块均不超过300行）、结构清晰、可读性强，支持从零构建和调试完整训练流程，并兼容 Hugging Face 模型与 Tokenizer。虽不追求工业级性能，但已验证在 H100 集群上可达约 38–50% 的模型浮点利用率（MFU）。适用于高校课程教学、分布式系统入门学习、LLM 训练原理实验及研究人员快速验证并行策略。