[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"project-71868":3},{"id":4,"name":5,"fullName":6,"owner":7,"repo":5,"description":8,"homepage":9,"htmlUrl":10,"language":11,"languages":10,"totalLinesOfCode":10,"stars":12,"forks":13,"watchers":14,"openIssues":15,"contributorsCount":16,"subscribersCount":16,"size":16,"stars1d":17,"stars7d":18,"stars30d":19,"stars90d":16,"forks30d":16,"starsTrendScore":20,"compositeScore":21,"rankGlobal":10,"rankLanguage":10,"license":10,"archived":22,"fork":22,"defaultBranch":23,"hasWiki":24,"hasPages":24,"topics":25,"createdAt":10,"pushedAt":10,"updatedAt":30,"readmeContent":31,"aiSummary":32,"trendingCount":16,"starSnapshotCount":16,"syncStatus":33,"lastSyncTime":34,"discoverSource":35},71868,"llm_interview_note","wdndev\u002Fllm_interview_note","wdndev","主要记录大语言大模型（LLMs） 算法（应用）工程师相关的知识及面试题","https:\u002F\u002Fwdndev.github.io\u002Fllm_interview_note",null,"HTML",14454,1423,47,18,0,41,96,308,123,44.46,false,"main",true,[26,27,28,29],"interview","llm","llm-interview","llms","2026-06-12 02:02:55","# LLMs 相关知识及面试题\n\n\n## 简介\n\n本仓库为大模型面试相关概念，由本人参考网络资源整理，欢迎阅读，如果对你有用，麻烦点一下 `🌟 star`，谢谢！\n\n为了在低资源情况下，学习大模型，进行动手实践，创建 [tiny-llm-zh](https:\u002F\u002Fgithub.com\u002Fwdndev\u002Ftiny-llm-zh)仓库，旨在构建一个小参数量的中文大语言模型，该项目已部署，可以在如下网站上体验：[ModeScope Tiny LLM](https:\u002F\u002Fwww.modelscope.cn\u002Fstudios\u002Fwdndev\u002Ftiny_llm_92m_demo\u002Fsummary)。\n\n动手实践项目：\n- [tiny-llm-zh](https:\u002F\u002Fgithub.com\u002Fwdndev\u002Ftiny-llm-zh) : 从零实现一个小参数量的中文大语言模型，快速掌握大模型预训练、微调、RL等相关技术；\n- [tiny-rag](https:\u002F\u002Fgithub.com\u002Fwdndev\u002Ftiny-rag) : 实现一个简单的RAG系统，支持多路召回、重排等功能，快速了解搜索相关内容；\n- [tiny-mcp](https:\u002F\u002Fgithub.com\u002Fwdndev\u002Ftiny-mcp) : 使用 Prompt 和 Function Calling 实现 MCP （模型上下文协议）服务端和客户端，快速使用MCP搭建Agent项目。\n- [llama3-from-scratch-zh](https:\u002F\u002Fgithub.com\u002Fwdndev\u002Fllama3-from-scratch-zh) : 从零实现 llama3, 可加载 meta 官方权重，可在本地笔记本（16G内存）调试运行\n\n\n其他学习资源推荐：\n\n- [AI 工程师八股](https:\u002F\u002Fgithub.com\u002Fwdndev\u002Fai_interview_note) : 包含深度学习、机器学习、推荐系统、搜索系统等通用知识\n\n\n\n## 在线阅读\n\n在线阅读链接：[LLMs Interview Note](http:\u002F\u002Fwdndev.github.io\u002Fllm_interview_note)\n\n\n## 注意：\n\n相关答案为自己撰写，若有不合理地方，请指出修正，谢谢！\n\n欢迎关注微信公众号，会不定期更新LLM内容，以及一些面试经验：\n\n \u003Cimg src=https:\u002F\u002Fgithub.com\u002Fwdndev\u002Fpersonal\u002Fblob\u002Fmain\u002Fimage\u002Fllmers_weixin.jpg width = \"427\" height = \"156\" alt=\"weixin\" \u002F>\n\n\n## 目录\n\n* [首页](\u002F)\n* [真实面试题](\u002Fch1)\n* [01.大语言模型基础](\u002F01.大语言模型基础\u002F)\n  * [1.1 大模型发展历程](\u002F01.大语言模型基础\u002F)\n    * [1.语言模型](\u002F01.大语言模型基础\u002F1.语言模型\u002F1.语言模型.md \"1.语言模型\")\n  * [1.2 分词与词向量](\u002F01.大语言模型基础)\n    * [1.分词](\u002F01.大语言模型基础\u002F1.分词\u002F1.分词.md)\n    * [2.jieba分词用法及原理](\u002F01.大语言模型基础\u002F2.jieba分词用法及原理\u002F2.jieba分词用法及原理.md)\n    * [3.词性标注](\u002F01.大语言模型基础\u002F3.词性标注\u002F3.词性标注.md)\n    * [4.句法分析](\u002F01.大语言模型基础\u002F4.句法分析\u002F4.句法分析.md \"4.句法分析\")\n    * [5.词向量](\u002F01.大语言模型基础\u002F5.词向量\u002F5.词向量.md \"5.词向量\")\n  * [1.3 语言模型基础知识](\u002F01.大语言模型基础\u002F)\n    * [Word2Vec](\u002F01.大语言模型基础\u002FWord2Vec\u002FWord2Vec.md \"Word2Vec\")\n    * [NLP三大特征抽取器（CNN\u002FRNN\u002FTF）](\u002F01.大语言模型基础\u002FNLP三大特征抽取器（CNN-RNN-TF）\u002FNLP三大特征抽取器（CNN-RNN-TF）.md)\n    * [NLP面试题](\u002F01.大语言模型基础\u002FNLP面试题\u002FNLP面试题.md \"NLP面试题\")\n    * [LLM为什么Decoder only架构](\u003C\u002F01.大语言模型基础\u002FLLM为什么Decoder only架构\u002FLLM为什么Decoder only架构.md> \"LLM为什么Decoder only架构\")\n  * [1.4 深度学习](\u002F01.大语言模型基础\u002F)\n    * [1.激活函数](\u002F01.大语言模型基础\u002F1.激活函数\u002F1.激活函数.md)\n  * [1.5 一些题目](\u002F01.大语言模型基础\u002F)\n    * [1.llm概念](\u002F01.大语言模型基础\u002F1.llm概念\u002F1.llm概念.md)\n* [02.大语言模型架构](\u002F02.大语言模型架构\u002F)\n  * [2.1 Transformer模型](\u002F02.大语言模型架构\u002F)\n    * [1.attention](\u002F02.大语言模型架构\u002F1.attention\u002F1.attention.md \"1.attention\")\n    * [2.layer\\_normalization](\u002F02.大语言模型架构\u002F2.layer_normalization\u002F2.layer_normalization.md \"2.layer_normalization\")\n    * [3.位置编码](\u002F02.大语言模型架构\u002F3.位置编码\u002F3.位置编码.md \"3.位置编码\")\n    * [4.tokenize分词](\u002F02.大语言模型架构\u002F4.tokenize分词\u002F4.tokenize分词.md \"4.tokenize分词\")\n    * [5.token及模型参数](\u002F02.大语言模型架构\u002F5.token及模型参数\u002F5.token及模型参数.md \"5.token及模型参数\")\n    * [6.激活函数](\u002F02.大语言模型架构\u002F6.激活函数\u002F6.激活函数.md \"6.激活函数\")\n  * [2.2 注意力](\u002F02.大语言模型架构\u002F)\n    * [MHA\\_MQA\\_GQA](\u002F02.大语言模型架构\u002FMHA_MQA_GQA\u002FMHA_MQA_GQA.md \"MHA_MQA_GQA\")\n  * [2.3 解码部分](\u002F02.大语言模型架构\u002F)\n    * [解码策略（Top-k & Top-p & Temperature）](\u003C\u002F02.大语言模型架构\u002F解码策略（Top-k & Top-p & Temperatu\u002F解码策略（Top-k & Top-p & Temperature）.md> \"解码策略（Top-k & Top-p & Temperature）\")\n  * [2.4 BERT](\u002F02.大语言模型架构\u002F)\n    * [bert细节](\u002F02.大语言模型架构\u002Fbert细节\u002Fbert细节.md \"bert细节\")\n    * [Transformer架构细节](\u002F02.大语言模型架构\u002FTransformer架构细节\u002FTransformer架构细节.md \"Transformer架构细节\")\n    * [bert变种](\u002F02.大语言模型架构\u002Fbert变种\u002Fbert变种.md \"bert变种\")\n  * [2.5 常见大模型](\u002F02.大语言模型架构\u002F)\n    * [llama系列模型](\u002F02.大语言模型架构\u002Fllama系列模型\u002Fllama系列模型.md \"llama系列模型\")\n    * [chatglm系列模型](\u002F02.大语言模型架构\u002Fchatglm系列模型\u002Fchatglm系列模型.md \"chatglm系列模型\")\n    * [llama 2代码详解](\u003C\u002F02.大语言模型架构\u002Fllama 2代码详解\u002Fllama 2代码详解.md> \"llama 2代码详解\")\n    * [llama 3](\u003C\u002F02.大语言模型架构\u002Fllama 3\u002Fllama 3.md> \"llama 3\")\n  * [2.6 MoE](\u002F02.大语言模型架构\u002F)\n    * [1.MoE论文](\u002F02.大语言模型架构\u002F1.MoE论文\u002F1.MoE论文.md \"1.MoE论文\")\n    * [2.MoE经典论文简牍](\u002F02.大语言模型架构\u002F2.MoE经典论文简牍\u002F2.MoE经典论文简牍.md \"2.MoE经典论文简牍\")\n    * [3.LLM MoE ：Switch Transformers](\u003C\u002F02.大语言模型架构\u002F3.LLM MoE ：Switch Transformers\u002F3.LLM MoE ：Switch Transformers.md> \"3.LLM MoE ：Switch Transformers\")\n* [03.训练数据集](\u002F03.训练数据集\u002F)\n  * [3.1 数据集](\u002F03.训练数据集\u002F)\n    * [数据格式](\u002F03.训练数据集\u002F数据格式\u002F数据格式.md \"数据格式\")\n  * [3.2 模型参数](\u002F03.训练数据集\u002F)\n* [04.分布式训练](\u002F04.分布式训练\u002F)\n  * [4.1 基础知识](\u002F04.分布式训练\u002F)\n    * [1.概述](\u002F04.分布式训练\u002F1.概述\u002F1.概述.md \"1.概述\")\n    * [2.数据并行](\u002F04.分布式训练\u002F2.数据并行\u002F2.数据并行.md \"2.数据并行\")\n    * [3.流水线并行](\u002F04.分布式训练\u002F3.流水线并行\u002F3.流水线并行.md \"3.流水线并行\")\n    * [4.张量并行](\u002F04.分布式训练\u002F4.张量并行\u002F4.张量并行.md \"4.张量并行\")\n    * [5.序列并行](\u002F04.分布式训练\u002F5.序列并行\u002F5.序列并行.md \"5.序列并行\")\n    * [6.多维度混合并行](\u002F04.分布式训练\u002F6.多维度混合并行\u002F6.多维度混合并行.md \"6.多维度混合并行\")\n    * [7.自动并行](\u002F04.分布式训练\u002F7.自动并行\u002F7.自动并行.md \"7.自动并行\")\n    * [8.moe并行](\u002F04.分布式训练\u002F8.moe并行\u002F8.moe并行.md \"8.moe并行\")\n    * [9.总结](\u002F04.分布式训练\u002F9.总结\u002F9.总结.md \"9.总结\")\n  * [4.2 DeepSpeed](\u002F04.分布式训练\u002F)\n    * [deepspeed介绍](\u002F04.分布式训练\u002Fdeepspeed介绍\u002Fdeepspeed介绍.md \"deepspeed介绍\")\n  * [4.3 Megatron](\u002F04.分布式训练\u002F)\n  * [4.4 训练加速](\u002F04.分布式训练\u002F)\n  * [4.5 一些有用的文章](\u002F04.分布式训练\u002F)\n  * [4.6 一些题目](\u002F04.分布式训练\u002F)\n    * [1.分布式训练题目](\u002F04.分布式训练\u002F分布式训练题目\u002F分布式训练题目.md \"分布式训练题目\")\n    * [2.显存问题](\u002F04.分布式训练\u002F1.显存问题\u002F1.显存问题.md \"1.显存问题\")\n* [05.有监督微调](\u002F05.有监督微调\u002F)\n  * [5.1 理论](\u002F05.有监督微调\u002F)\n    * [1.基本概念](\u002F05.有监督微调\u002F1.基本概念\u002F1.基本概念.md \"1.基本概念\")\n    * [2.prompting](\u002F05.有监督微调\u002F2.prompting\u002F2.prompting.md \"2.prompting\")\n    * [3.adapter-tuning](\u002F05.有监督微调\u002F3.adapter-tuning\u002F3.adapter-tuning.md \"3.adapter-tuning\")\n    * [4.lora](\u002F05.有监督微调\u002F4.lora\u002F4.lora.md \"4.lora\")\n    * [5.总结](\u002F05.有监督微调\u002F5.总结\u002F5.总结.md \"5.总结\")\n  * [5.2 微调实战](\u002F05.有监督微调\u002F)\n    * [llama2微调](\u002F05.有监督微调\u002Fllama2微调\u002Fllama2微调.md \"llama2微调\")\n    * [ChatGLM3微调](\u002F05.有监督微调\u002FChatGLM3微调\u002FChatGLM3微调.md \"ChatGLM3微调\")\n  * [5.3 一些题目](\u002F05.有监督微调\u002F)\n    * [1.微调](\u002F05.有监督微调\u002F1.微调\u002F1.微调.md \"1.微调\")\n    * [2.预训练](\u002F05.有监督微调\u002F2.预训练\u002F2.预训练.md \"2.预训练\")\n* [06.推理](\u002F06.推理\u002F)\n  * [6.1 推理框架](\u002F06.推理\u002F)\n    * [0.llm推理框架简单总结](\u002F06.推理\u002F0.llm推理框架简单总结\u002F0.llm推理框架简单总结.md \"0.llm推理框架简单总结\")\n    * [1.vllm](\u002F06.推理\u002F1.vllm\u002F1.vllm.md \"1.vllm\")\n    * [2.text_generation\\_inference](\u002F06.推理\u002F2.text_generation_inference\u002F2.text_generation_inference.md \"2.text_generation_inference\")\n    * [3.faster_transformer](\u002F06.推理\u002F3.faster_transformer\u002F3.faster_transformer.md \"3.faster_transformer\")\n    * [4.trt_llm](\u002F06.推理\u002F4.trt_llm\u002F4.trt_llm.md \"4.trt_llm\")\n  * [6.2 推理优化技术](\u002F06.推理\u002F)\n    * [llm推理优化技术](\u002F06.推理\u002Fllm推理优化技术\u002Fllm推理优化技术.md \"llm推理优化技术\")\n  * [6.3 量化](\u002F06.推理\u002F)\n  * [6.4 vLLM](\u002F06.推理\u002F)\n  * [6.5 一些题目](\u002F06.推理\u002F)\n    * [1.推理](\u002F06.推理\u002F1.推理\u002F1.推理.md \"1.推理\")\n* [07.强化学习](\u002F07.强化学习)\n  * [7.1 强化学习原理](\u002F07.强化学习)\n    * [策略梯度（pg）](\u002F07.强化学习\u002F策略梯度（pg）\u002F策略梯度（pg）.md \"策略梯度（pg）\")\n    * [近端策略优化(ppo)](\u002F07.强化学习\u002F近端策略优化(ppo)\u002F近端策略优化(ppo).md \"近端策略优化(ppo)\")\n  * [7.2 RLHF](\u002F07.强化学习)\n    * [大模型RLHF：PPO原理与源码解读](\u002F07.强化学习\u002F大模型RLHF：PPO原理与源码解读\u002F大模型RLHF：PPO原理与源码解读.md \"大模型RLHF：PPO原理与源码解读\")\n    * [DPO](\u002F07.强化学习\u002FDPO\u002FDPO.md \"DPO\")\n  * [7.3 一些题目](\u002F07.强化学习)\n    * [1.rlhf相关](\u002F07.强化学习\u002F1.rlhf相关\u002F1.rlhf相关.md \"1.rlhf相关\")\n    * [2.强化学习](\u002F07.强化学习\u002F2.强化学习\u002F2.强化学习.md \"2.强化学习\")\n* [08.检索增强RAG](\u002F08.检索增强rag\u002F)\n  * [8.1 RAG](\u002F08.检索增强rag\u002F)\n    * [检索增强llm](\u002F08.检索增强rag\u002F检索增强llm\u002F检索增强llm.md \"检索增强llm\")\n    * [rag（检索增强生成）技术](\u002F08.检索增强rag\u002Frag（检索增强生成）技术\u002Frag（检索增强生成）技术.md \"rag（检索增强生成）技术\")\n  * [8.2 Agent](\u002F08.检索增强rag\u002F)\n    * [大模型agent技术](\u002F08.检索增强rag\u002F大模型agent技术\u002F大模型agent技术.md \"大模型agent技术\")\n* [09.大语言模型评估](\u002F09.大语言模型评估\u002F)\n  * [9.1 模型评估](\u002F09.大语言模型评估\u002F)\n    * [1.评测](\u002F09.大语言模型评估\u002F1.评测\u002F1.评测.md \"1.评测\")\n  * [9.2 LLM幻觉](\u002F09.大语言模型评估\u002F)\n    * [1.大模型幻觉](\u002F09.大语言模型评估\u002F1.大模型幻觉\u002F1.大模型幻觉.md \"1.大模型幻觉\")\n    * [2.幻觉来源与缓解](\u002F09.大语言模型评估\u002F2.幻觉来源与缓解\u002F2.幻觉来源与缓解.md \"2.幻觉来源与缓解\")\n* [10.大语言模型应用](\u002F10.大语言模型应用\u002F)\n  * [10.1 思维链提示](\u002F10.大语言模型应用\u002F)\n    * [1.思维链（cot）](\u002F10.大语言模型应用\u002F1.思维链（cot）\u002F1.思维链（cot）.md \"1.思维链（cot）\")\n  * [10.2 LangChain框架](\u002F10.大语言模型应用\u002F)\n    * [1.langchain](\u002F10.大语言模型应用\u002F1.langchain\u002F1.langchain.md \"1.langchain\")\n* [98.相关课程](\u002F98.相关课程\u002F)\n* [99.参考资料](\u002F99.参考资料\u002F)\n\n\n\n\n\n\n\n","该项目旨在整理并分享大语言模型（LLMs）算法工程师相关的知识及面试题。其核心功能包括提供详尽的大语言模型基础知识、架构解析以及实际面试题目，帮助读者系统性地学习和准备相关技术面试。项目采用HTML编写，便于在线阅读与访问。此外，它还链接了多个动手实践项目如tiny-llm-zh等，让学习者能够通过实际操作加深理解。非常适合希望进入或已经在自然语言处理领域工作的技术人员用于自我提升和技术面试准备。",2,"2026-06-11 03:39:00","high_star"]