
llm-internals
amitshekhariitbhu
Learn LLM internals step by step - from tokenization to attention to inference optimization.
AI 简介
这是一个面向工程师和学习者的大型语言模型(LLM)原理教学项目,系统讲解LLM从分词、注意力机制到推理优化的底层实现细节。核心内容涵盖BPE分词算法、QKV注意力计算、√dₖ缩放因子的数学推导、RAG、微调与量化等关键技术点,辅以图文、公式推演和视频资源。项目强调概念清晰性与可理解性,所有讲解均基于真实模型架构(如Transformer),不依赖特定框架代码。适合AI工程师、技术面试准备者、研究生及希望深入理解LLM工作原理的技术从业者用于系统性学习与知识梳理。
Apache License 2.0
1.3k
Stars
132
Forks
13
Watchers
0
Issues
Star 增长
今日0
近 7 天0
近 30 天+223
综合评分64.37
默认分支main