modded-nanogpt

这是一个面向极致训练速度优化的大语言模型训练项目，旨在用8块NVIDIA H100 GPU在90秒内完成NanoGPT（124M参数）在FineWeb数据集上的训练，并达到3.28验证交叉熵损失。项目融合多项算法与系统级优化：包括Rotary嵌入、QK-Norm、ReLU²、FP8矩阵乘、Flash Attention 3（含滑动窗口与YaRN warmup）、Muon优化器、零初始化投影、多层跳跃连接、稀疏注意力门控及动态调度策略（序列长、batch size、权重衰减等）。适用于需要快速验证模型架构、高效分布式训练调优或LLM训练加速研究的场景。