llama3-from-scratch

这是一个从零开始逐层实现 Llama 3 大语言模型（8B 参数规模）的教学型项目，聚焦于底层张量与矩阵运算的显式编码。项目使用 PyTorch 在 Jupyter Notebook 中复现模型前向传播全过程，包括 RoPE 位置编码、多头注意力、SwiGLU 前馈网络及 RMSNorm 归一化；支持直接加载 Meta 官方发布的原始权重文件（consolidated.00.pth），但不实现分词器（复用 tiktoken）。适用于深度理解 LLM 架构原理、教学演示或轻量级推理验证等学习与研究场景。