PopRiskMinimization

PopRiskMinimization项目实现了基于论文"A Theory of Generalization in Deep Learning"中的群体风险最小化算法。其核心功能是通过修改AdamW优化器，引入了基于群体风险而非原始经验风险的参数更新机制，从而在保持单次前向和后向传播的同时，利用群体风险掩码调整梯度更新，有助于提高模型泛化能力。技术上，该项目支持多种掩码选项（如SNR、soft、hard），允许用户根据具体需求选择不同的参数更新策略。适用于深度学习场景下，特别是对于大规模生成模型、扩散模型等需要提升训练稳定性和泛化性能的情况。