amuse

AMUSE是一个面向深度学习优化的新型自适应优化器，旨在结合Muon的快速矩阵参数更新能力与Schedule-Free优化的稳定性优势。其核心通过动态插值系数βₜ，在快速Muon轨迹Zₜ与稳定平均轨迹Xₜ之间渐进调整梯度计算点Yₜ，并对矩阵参数应用正交化动量与Newton-Schulz迭代更新，实现无需学习率调度、支持任意训练步数终止（anytime）的稳定收敛。适用于大规模模型训练中对优化轨迹稳定性与早期收敛速度均有较高要求的场景，尤其适合含矩阵参数（如Transformer中注意力权重）的模型优化。