how-llms-work

该项目是一个可视化、交互式的指南，旨在解释大型语言模型从原始网络文本到对话助手的构建过程。核心功能包括数据收集、分词、神经网络训练、推理与采样、基础模型介绍、后训练技术如RLHF和指令调优等，并深入探讨了LLM的心理学特性及检索增强生成技术。项目基于Andrej Karpathy关于大型语言模型的讲座内容，适用于对AI特别是自然语言处理领域感兴趣的开发者、研究人员以及任何希望了解LLM工作原理的学习者。此外，尽管大部分代码和内容由AI生成，但所有信息均直接来源于Karpathy的演讲，确保了准确性。