schedule_free

Schedule-Free 是一种无需学习率调度的优化器设计方法，通过插值与平均机制替代传统动量更新，在PyTorch中提供SGD、AdamW等主流优化器的免调度变体。其核心特点是无需预设训练步数、不依赖学习率衰减或warmup策略，内存开销与原优化器相当，且支持无缝集成现有训练流程（需配合train/eval模式切换）。适用于各类深度学习模型训练场景，尤其适合超参调优成本高、训练时长不确定或需快速迭代的实验性任务。