LLM-Step-by-Step

这是一个从零开始用 PyTorch 构建小型语言模型（LLM）的教学型项目，严格遵循斯坦福 CS336 课程框架。项目核心包含手写实现的 BPE 分词器、Transformer 基础组件（RMSNorm、RoPE、SwiGLU、多头注意力）、训练基础设施（AdamW、余弦学习率、梯度裁剪）及完整训练循环，所有代码基于 PyTorch 原生张量与自动微分，不依赖 HuggingFace 或高层封装。配套 JOURNEY.md 以迭代式叙事方式记录每步尝试、性能瓶颈与优化实效，强调工程权衡与调试过程。适用于深度学习教学、LLM 底层原理学习、PyTorch 实战训练及课程实践参考。