Muon

Muon 是一个专为神经网络隐藏层权重设计的优化器，通过改进动量更新机制提升训练效率。其核心特点是支持与标准优化器（如AdamW）混合使用，仅对高维参数（如全连接层、卷积核权重）启用MuOn更新，而对嵌入层、分类头及低维偏置/增益参数仍采用传统方法；具备muP缩放兼容性，模型规模变化时学习率无需重调。适用于追求训练速度与计算成本平衡的大模型、Transformer及CNN等架构的高效训练场景，已在CIFAR-10、NanoGPT等基准中验证显著加速效果。