llm.c

llm.c 是一个使用纯 C/CUDA 编写的语言模型训练项目，无需依赖庞大的 PyTorch 或 cPython 库。其核心功能包括预训练 GPT-2 和 GPT-3 系列模型，并提供了一个并行的 PyTorch 参考实现。该项目通过简洁的代码实现了高效训练，目前在速度上比 PyTorch Nightly 快约 7%。此外，还提供了一个简单的 CPU fp32 实现，便于理解和调试。适合对 CUDA 编程感兴趣、希望深入了解语言模型训练细节的研究人员和开发者使用。