LLMs-from-scratch

该项目是一个面向教育的PyTorch实践教程，逐步实现一个类ChatGPT的轻量级大语言模型（LLM），涵盖从零构建、预训练到微调的完整流程。核心功能包括Transformer架构的逐模块实现、数据预处理、自回归训练、LoRA微调及主流预训练模型权重加载；技术特点强调可解释性、代码透明性和教学友好性，所有实现均基于Jupyter Notebook并配有详细图文说明。适用于AI教学、LLM原理学习、研究型课程实验及工程师理解底层机制等场景。