llm-internals

该项目旨在逐步学习大型语言模型（LLM）的内部机制，从分词到注意力机制再到推理优化。核心功能包括通过视频和博客文章详细解析LLM的关键组成部分和技术细节，如字节对编码（BPE）、注意力机制中的QKV计算及√dₖ缩放因子的作用。项目适合希望深入了解LLM工作原理、优化方法以及相关数学基础的研究人员、工程师或学生使用。