lora-speedrun

LoRA Speedrun 是一个专注于大语言模型LoRA微调速度极限挑战的开源基准项目。它在固定硬件（单块L40S GPU）和固定任务（如GSM8K数学推理、SQuAD问答）上，通过公开的墙钟时间排行榜，系统性地评估和优化LoRA微调效率；核心特点包括可复现的三重验证机制、基于modded-nanogpt的轻量训练框架、completion-only损失掩码、序列打包与GPU原生优化等加速技术。适用于LLM微调性能对比、高效微调方法研究及工程化提速验证场景。