nanoGPT

nanoGPT 是一个极简、高效的 Python 工具库，用于从零训练或微调中等规模的 GPT 类 Transformer 模型。其核心特点是代码高度精简（训练循环与模型定义各约 300 行）、依赖少、可读性强，支持加载 OpenAI 的 GPT-2 权重，并能在单台多卡 A100 服务器上复现 124M 参数模型训练。项目提供开箱即用的配置（如莎士比亚字符级模型），适合教学演示、快速原型验证及资源受限下的中小规模语言模型实验。注意：该项目已于 2025 年停止维护，官方推荐转向 nanochat。