llm-from-scratch

这是一个面向初学者的动手实践项目，旨在帮助用户从零开始完整实现一个轻量级GPT模型（约10M参数）的训练全流程。项目涵盖字符级分词器、Transformer架构（含嵌入层、自注意力与前馈网络）、训练循环（含损失计算、AdamW优化、学习率调度）以及文本生成采样等核心模块，所有代码均需手动编写。基于PyTorch实现，自动适配Apple Silicon（MPS）、NVIDIA CUDA或CPU，可在普通笔记本上1小时内完成训练。适用于AI入门教学、深度学习原理理解及小型LLM教学实验场景。