aurora-release

Aurora 是一个面向非方阵参数的优化器，旨在提升多层感知机（MLP）神经元的利用效率。其核心通过迭代投影到行斜交流形与Stiefel流形交集，替代传统 polar 分解，实现更均衡的行范数更新，同时保持极分解精度；对正方形矩阵退化为标准 Muon 更新。项目采用 Riemannian 优化思想，支持 Nesterov 动量、谱纵横比缩放与解耦权重衰减，适用于训练含大量非方阵权重（如嵌入层、线性变换）的深度模型，尤其在大语言模型和推荐系统中可改善参数收敛均衡性。