tilde-research

aurora-release

tilde-research

Aurora optimizer release

AI 简介

Aurora是一个针对非方阵优化的工具,旨在更有效地利用多层感知器(MLP)中的神经元。其核心功能在于通过迭代近似将投影映射到行斜交与Steifel流形的交集上,从而实现更均衡的更新,同时保持极性因子精度。项目采用Python语言编写,并且在处理方阵时可简化为标准的Muon更新。Aurora适用于需要对非方阵进行高效优化的场景,尤其是在深度学习模型训练过程中希望提高权重更新效率的情况。此外,用户可以通过调整`pp_iterations`、`pp_beta`等超参数来控制更新过程中的细节,以满足特定需求。

Python
MIT License
144
Stars
6
Forks
32
Watchers
0
Issues

Star 增长

今日0
近 7 天+2
近 30 天+83
综合评分51.84
默认分支main