
build-nanogpt
karpathy
Video+code lecture on building nanoGPT from scratch
AI 简介
该项目是一个从零开始构建nanoGPT语言模型的教学型代码仓库,完整复现了GPT-2(124M)架构与训练流程。核心特点包括:按开发演进顺序组织的清晰Git提交历史、配套逐行讲解视频、支持云GPU快速复现实验(约1小时、$10成本),且不依赖预训练权重或外部框架封装。项目聚焦基础自回归语言建模,未包含对话微调(如SFT/RLHF)等下游任务。适用于机器学习教学、大模型原理理解、PyTorch实践训练及小型LLM复现研究场景。
Python
5.3k
Stars
865
Forks
49
Watchers
18
Issues
Star 增长
今日0
近 7 天0
近 30 天+27
综合评分64.51
默认分支master