parameter-golf

openai/parameter-golf 项目是一个挑战，旨在训练出一个能在16MB内存限制下表现最佳的语言模型。该项目鼓励参与者在不超过10分钟的训练时间内（使用8个H100 GPU），通过优化参数、压缩技术等手段来提升模型性能，评价标准为FineWeb验证集上的压缩效果。其核心功能和技术特点包括对独特架构设计的支持（如深度递归、低秩训练）、创新的压缩方案（如低精度量化、QAT）及其他创意提交方式（如测试时训练）。此项目适合对深度学习优化及模型小型化感兴趣的开发者和研究者参与，尤其适用于那些希望探索如何在有限资源条件下实现高性能语言模型的研究场景。