llm.c

llm.c 是一个用纯 C/CUDA 实现的轻量级大语言模型（LLM）预训练框架，专注于 GPT-2/GPT-3 系列模型的高效复现。核心功能包括单机单卡 CUDA 加速训练、支持 fp32/bfloat16 混合精度、提供可调试的千行级 CPU 参考实现，并与 PyTorch 版本严格对齐以确保正确性。技术特点是零依赖（无需 PyTorch/Python 运行时）、极致精简（无抽象层）、高可读性与教学友好。适用于底层 CUDA 学习、LLM 训练原理研究、资源受限环境下的模型复现实验，以及需要完全可控训练流程的科研与教学场景。