[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"project-82844":3},{"id":4,"name":5,"fullName":6,"owner":7,"repo":5,"description":8,"homepage":9,"htmlUrl":10,"language":11,"languages":10,"totalLinesOfCode":10,"stars":12,"forks":13,"watchers":14,"openIssues":15,"contributorsCount":15,"subscribersCount":15,"size":15,"stars1d":16,"stars7d":13,"stars30d":17,"stars90d":15,"forks30d":15,"starsTrendScore":13,"compositeScore":18,"rankGlobal":10,"rankLanguage":10,"license":10,"archived":19,"fork":19,"defaultBranch":20,"hasWiki":21,"hasPages":21,"topics":22,"createdAt":10,"pushedAt":10,"updatedAt":23,"readmeContent":24,"aiSummary":25,"trendingCount":15,"starSnapshotCount":15,"syncStatus":26,"lastSyncTime":27,"discoverSource":28},82844,"Awesome-LLM-Interview","laoshan-song\u002FAwesome-LLM-Interview","laoshan-song"," LLM interview prep notes: Transformer, RLHF, DPO, LoRA, KV Cache,RAG, MoE, distributed training & 2026 frontier topics","",null,"HTML",119,5,4,0,1,10,2.33,false,"main",true,[],"2026-06-12 02:04:28","\u003Cdiv align=\"center\">\n\n# 🧠 Awesome LLM Interview\n\n**大模型面试知识点精华整理 · 每日持续更新**\n\n[![GitHub stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Flaoshan-song\u002FAwesome-LLM-Interview?style=social)](https:\u002F\u002Fgithub.com\u002Flaoshan-song\u002FAwesome-LLM-Interview)\n[![GitHub forks](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fforks\u002Flaoshan-song\u002FAwesome-LLM-Interview?style=social)](https:\u002F\u002Fgithub.com\u002Flaoshan-song\u002FAwesome-LLM-Interview)\n[![PRs Welcome](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPRs-welcome-brightgreen.svg)](https:\u002F\u002Fgithub.com\u002Flaoshan-song\u002FAwesome-LLM-Interview\u002Fpulls)\n[![License](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-MIT-blue.svg)](LICENSE)\n[![持续更新](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F每日更新-进行中-brightgreen.svg)]()\n\n\u003C\u002Fdiv>\n\n---\n\n## 这个仓库是什么？\n\n**一句话**：你备战大模型面试时，希望有人帮你把所有核心知识点整理清楚——这个仓库就是干这个的。\n\n每篇笔记包含：**面试高频考点 + 核心原理 + 原始论文 + 视频讲解**。\n\n### 🔥 推荐优先看这几篇\n\n- [Transformer 架构详解](.\u002Fnotes\u002F01_基础架构\u002F03_Transformer架构.md)：补了官方论文架构图和快速回答模板\n- [LoRA 及参数高效微调（PEFT）](.\u002Fnotes\u002F02_训练与对齐\u002F08_LoRA与PEFT.md)：补了 LoRA 原论文图和工程落地说明\n- [RAG 检索增强生成](.\u002Fnotes\u002F05_前沿专题\u002F14_RAG.md)：补了 NVIDIA 官方流程图和更工程化的拆解\n- [MoE 混合专家模型](.\u002Fnotes\u002F05_前沿专题\u002F13_MoE.md)：补了官方路由图和 serving 难点说明\n- [SFT 有监督微调](.\u002Fnotes\u002F02_训练与对齐\u002F06_SFT.md)：补了 Self-Instruct 论文图和数据验收清单\n- [RLHF \u002F DPO \u002F PPO 对比](.\u002Fnotes\u002F02_训练与对齐\u002F07_RLHF_DPO_PPO.md)：补了 InstructGPT\u002FRLHF 三阶段论文图和 PPO 工程角色说明\n- [推理加速](.\u002Fnotes\u002F03_推理与优化\u002F12_推理加速.md)：补了 FlashAttention 原论文图和 TTFT\u002FTPOT 诊断维度\n- [解码策略](.\u002Fnotes\u002F03_推理与优化\u002F11_解码策略.md)：补了 Nucleus Sampling 论文图和参数联调建议\n\n### ⚡ 面试速记网页\n\n> **[→ 打开速记网页（在线访问）](https:\u002F\u002Flaoshan-song.github.io\u002FAwesome-LLM-Interview\u002Fcheatsheet.html)**\n>\n> 49 道高频考题，7 大模块，点击展开即见答案，搜索、筛选、一键展开全部。面试前 30 分钟速刷专用。\n\n> 如果你觉得有用，点个 ⭐ Star 是对我最大的鼓励！\n\n---\n\n## 📚 知识点目录\n\n### 🔤 一、基础架构\n\n| 编号 | 主题 | 最近更新 |\n|------|------|----------|\n| 01 | [LLM 核心名词解释](.\u002Fnotes\u002F01_基础架构\u002F01_名词解释.md) | 补全 Token \u002F Attention \u002F KV Cache 等 30+ 核心术语 |\n| 02 | [分词算法（BPE \u002F WordPiece \u002F SentencePiece）](.\u002Fnotes\u002F01_基础架构\u002F02_分词算法.md) | 添加 Karpathy 视频 + 3 篇原始论文链接 |\n| 03 | [Transformer 架构详解](.\u002Fnotes\u002F01_基础架构\u002F03_Transformer架构.md) | 添加 3Blue1Brown 可视化视频 + 原版论文 |\n| 04 | [位置编码（RoPE \u002F ALiBi \u002F sinusoidal）](.\u002Fnotes\u002F01_基础架构\u002F04_位置编码.md) | 补充 RoPE \u002F ALiBi 论文 + 外推方案对比 |\n| 05 | [主流模型架构对比（LLaMA \u002F Qwen \u002F DeepSeek）](.\u002Fnotes\u002F01_基础架构\u002F05_主流模型架构对比.md) | MLA、RMSNorm、SwiGLU 等架构细节 |\n| 06 | [国产主流模型全景（DeepSeek \u002F Qwen \u002F GLM \u002F MiniMax）](.\u002Fnotes\u002F01_基础架构\u002F06_国产主流模型全景.md) | **新增**：DeepSeek-V3\u002FR1\u002FV4、Qwen3混合思考、MiniMax Lightning Attention 🔥 |\n\n### ⚙️ 二、训练与对齐\n\n| 编号 | 主题 | 最近更新 |\n|------|------|----------|\n| 07 | [预训练 vs 微调 vs RLHF](.\u002Fnotes\u002F02_训练与对齐\u002F05_预训练与微调.md) | 补充 InstructGPT \u002F LIMA 论文 + 三阶段流程 |\n| 08 | [SFT 有监督微调](.\u002Fnotes\u002F02_训练与对齐\u002F06_SFT.md) | 补充数据质量分析 + loss 计算细节 |\n| 09 | [RLHF \u002F DPO \u002F PPO 对比](.\u002Fnotes\u002F02_训练与对齐\u002F07_RLHF_DPO_PPO.md) | 添加李沐精读视频 + DPO 完整推导 |\n| 10 | [LoRA 及参数高效微调（PEFT）](.\u002Fnotes\u002F02_训练与对齐\u002F08_LoRA与PEFT.md) | 添加论文精读视频 + QLoRA 细节 |\n| 11 | [预训练数据处理](.\u002Fnotes\u002F02_训练与对齐\u002F09_预训练数据处理.md) | 数据清洗、去重、配比策略 |\n| 12 | [2025 前沿对齐技术（RLVR \u002F DAPO \u002F RLAIF）](.\u002Fnotes\u002F02_训练与对齐\u002F10_前沿对齐技术.md) | **新增**：DAPO\u002FDr.GRPO\u002FOpenRLHF\u002FveRL\u002FConstitutional AI 🔥 |\n\n### 🚀 三、推理与优化\n\n| 编号 | 主题 | 最近更新 |\n|------|------|----------|\n| 13 | [KV Cache 原理与优化](.\u002Fnotes\u002F03_推理与优化\u002F09_KV_Cache.md) | 补充显存公式 + GQA \u002F PagedAttention |\n| 14 | [量化（INT8 \u002F INT4 \u002F GPTQ \u002F AWQ）](.\u002Fnotes\u002F03_推理与优化\u002F10_量化.md) | 补充 GPTQ \u002F AWQ \u002F SmoothQuant 论文 |\n| 15 | [解码策略（Greedy \u002F Beam \u002F Sampling）](.\u002Fnotes\u002F03_推理与优化\u002F11_解码策略.md) | 补充 Top-p 论文 + 场景使用建议 |\n| 16 | [推理加速（Flash Attention \u002F vLLM \u002F 投机采样）](.\u002Fnotes\u002F03_推理与优化\u002F12_推理加速.md) | 补充 Flash Attention \u002F 投机采样 4 篇论文 |\n| 17 | [推理框架对比（vLLM \u002F SGLang \u002F llama.cpp）](.\u002Fnotes\u002F03_推理与优化\u002F13_推理框架对比.md) | **新增**：RadixAttention、GGUF量化、Disaggregated P\u002FD、选型指南 🔥 |\n\n### 🖥️ 四、分布式训练\n\n| 编号 | 主题 | 最近更新 |\n|------|------|----------|\n| 18 | [数据并行与模型并行](.\u002Fnotes\u002F04_分布式训练\u002F01_数据并行与模型并行.md) | ZeRO 三阶段、张量\u002F流水线并行对比 |\n| 19 | [显存优化技巧](.\u002Fnotes\u002F04_分布式训练\u002F02_显存优化技巧.md) | 梯度检查点、混合精度、显存占用公式 |\n\n### 🔬 五、前沿专题\n\n| 编号 | 主题 | 最近更新 |\n|------|------|----------|\n| 20 | [MoE 混合专家模型](.\u002Fnotes\u002F05_前沿专题\u002F13_MoE.md) | 补充 Mixtral \u002F Switch Transformer 论文 |\n| 21 | [RAG 检索增强生成](.\u002Fnotes\u002F05_前沿专题\u002F14_RAG.md) | 添加 Self-RAG 论文 + LangChain 视频 |\n| 22 | [Agent 与工具调用](.\u002Fnotes\u002F05_前沿专题\u002F15_Agent.md) | 补充 ReAct \u002F Toolformer 论文 |\n| 23 | [Prompt Engineering](.\u002Fnotes\u002F05_前沿专题\u002F16_Prompt_Engineering.md) | CoT \u002F ToT \u002F Self-Consistency \u002F 提示注入防御 |\n| 24 | [大模型幻觉与评估](.\u002Fnotes\u002F05_前沿专题\u002F17_大模型幻觉与评估.md) | 幻觉分类、MMLU\u002FHumanEval、LLM-as-Judge |\n| 25 | [推理时计算扩展（Test-Time Compute）](.\u002Fnotes\u002F05_前沿专题\u002F18_推理时计算扩展.md) | DeepSeek-R1、GRPO、PRM 全面解析 |\n| 26 | [多模态大模型（VLM）](.\u002Fnotes\u002F05_前沿专题\u002F19_多模态大模型.md) | GPT-4o\u002FInternVL 架构、视觉编码器对比 |\n| 27 | [GraphRAG 与高级 RAG](.\u002Fnotes\u002F05_前沿专题\u002F20_GraphRAG与高级RAG.md) | GraphRAG、HyDE、Self-RAG、RAGAS 评估 |\n| 28 | [评估框架与 Harness](.\u002Fnotes\u002F05_前沿专题\u002F21_评估框架与Harness.md) | **新增**：lm-eval-harness、Open LLM Leaderboard v2、OpenCompass 🔥 |\n| 29 | [Agent 框架与 MCP 协议](.\u002Fnotes\u002F05_前沿专题\u002F22_Agent框架与MCP.md) | **新增**：LangGraph、AutoGen、OpenAI Agents SDK、MCP\u002FA2A 协议 🔥 |\n\n---\n\n## 🛠️ 学完可做项目\n\n我单独整理了一份 **项目实战库**，按主题拆成 `RAG \u002F 微调 \u002F 推理部署 \u002F Agent \u002F 多模态 \u002F 评估` 六类，每类都有 GitHub 项目和 Kaggle 数据入口。\n\n> **[→ 打开项目库](.\u002Fprojects.md)**\n\n如果你只想先选一个最容易做成作品的方向，建议顺序是：\n\n1. 本地 RAG\n2. QLoRA 微调\n3. LangGraph 多 Agent\n\n### 🧪 仓库内实战项目\n\n- [商业级 RAG 工单助手](.\u002Fcommercial_rag_ticket_assistant)：企业知识库问答、工单分流、审计与评估指标。\n- [LLM 面试模拟与回答诊断实验室](.\u002Finterview_simulator_lab)：把面试笔记转成 SFT 数据，提供回答诊断 CLI、模拟追问和 QLoRA 微调脚本模板。\n\n---\n\n## 🤝 欢迎一起完善\n\n学一个人的笔记，不如一群人共同维护一份高质量知识库。\n\n你可以贡献：\n- 📝 **完善某个知识点**的讲解（更清晰的例子、更准确的描述）\n- 🎬 **推荐优质视频**（B 站 \u002F YouTube 都欢迎）\n- 📄 **补充新的论文**（最新进展、重要综述）\n- 🌟 **新增知识点**（多模态、长文本、代码大模型……）\n\n```bash\n# Fork → 新建分支 → 修改 → PR\ngit checkout -b feat\u002Fyour-topic\ngit commit -m \"补充：xxx 知识点 \u002F 添加：xxx 视频\"\ngit push origin feat\u002Fyour-topic\n```\n\n---\n\n## 🗓️ 更新日志\n\n| 更新内容 |\n|----------|\n| 🎉 初始化仓库，完成 LLM 核心名词解释 |\n| 📚 补全核心知识点（基础 \u002F 训练 \u002F 推理 \u002F 工程） |\n| 📄 为所有知识点补充原始论文 arxiv 链接 |\n| 🎬 添加 Karpathy \u002F 3Blue1Brown \u002F 李沐等优质视频资源 |\n| 🗂️ 重构目录：按主题分为 5 大类，新增分布式训练、Prompt Engineering、幻觉评估等前沿专题 |\n| 🚀 新增 2026 前沿专题：TTC\u002FDeepSeek-R1\u002FGRPO、多模态VLM、GraphRAG |\n| ⚡ 新增面试速记网页（cheatsheet.html）：49 道高频考题，支持搜索\u002F筛选 |\n| 🇨🇳 新增国产模型全景：DeepSeek-V3\u002FR1、Qwen3混合思考、GLM-4、MiniMax Lightning Attention |\n| 🔧 新增前沿框架：vLLM\u002FSGLang\u002Fllama.cpp推理框架对比、DAPO\u002FRLVR对齐技术、lm-eval-harness评估、LangGraph\u002FMCP协议 |\n\n---\n\n\u003Cdiv align=\"center\">\n\n**⭐ Star 一下，下次面试前不慌 ⭐**\n\n*一个人走得快，一群人走得远。欢迎 PR 共建！*\n\n\u003C\u002Fdiv>\n","Awesome-LLM-Interview 是一个专注于大模型面试准备的知识点精华整理项目。该项目涵盖了从基础架构到前沿技术的多个方面，包括Transformer架构、LoRA及参数高效微调、RAG检索增强生成等核心内容，并提供了原始论文链接和视频讲解。此外，还特别设计了一个面试速记网页，方便用户快速浏览和复习高频考点。适合正在准备相关领域技术面试的求职者或希望深入了解大模型技术细节的研究人员使用。",2,"2026-06-11 04:09:23","CREATED_QUERY"]