amuse

AMUSE 是一种优化器实现，旨在通过结合 Muon 和无调度更新来提高深度学习模型的训练效率。其核心功能包括维护三条序列：快速基础序列 $Z_t$、平均序列 $X_t$ 和梯度评估点 $Y_t$。AMUSE 通过在训练初期利用 Muon 的快速收敛特性，并在后期逐渐转向稳定的平均轨迹，从而减少山谷壁振荡，实现无需显式学习率调度的任意时间训练。该优化器特别适用于需要高效且稳定训练过程的深度学习任务，尤其是在处理矩阵参数时表现出色。项目采用 Python 编写，遵循 Apache License 2.0 开源协议。