Gefen

Gefen 是一个面向大模型训练的内存优化型随机优化器，可作为 AdamW 的即插即用替代方案。其核心通过重构优化器状态存储与融合 CUDA 内核，在保持 AdamW 收敛性能的同时，将优化器状态内存占用降低 8 倍（约每十亿参数节省 6.5 GiB），支持更大模型或更大批量训练以提升吞吐量。当前版本专为预训练场景设计，需 CUDA 环境支持，仅需两行代码替换即可集成。适用于 GPU 资源受限下的大规模语言模型预训练任务。