datawhalechina

happy-llm

datawhalechina

📚 从零开始构建大模型

AI 简介

Happy-LLM 是一个系统性的大语言模型(LLM)学习教程,旨在帮助读者深入理解 LLM 的核心原理并动手实现自己的第一个大模型。项目的核心功能包括从 NLP 基础概念出发,逐步讲解 Transformer 架构、预训练语言模型以及大语言模型的训练过程,并结合主流代码框架实战搭建和训练 LLaMA2 模型。此外,还涵盖了从预训练到微调的全流程以及 RAG、Agent 等前沿技术的应用。此项目适合希望深入了解 LLM 并亲手实践的开发者、研究人员及学生使用。

Jupyter Notebook
Other
31.1k
Stars
2.9k
Forks
97
Watchers
52
Issues

Star 增长

今日0
近 7 天+157
近 30 天+749
综合评分100
默认分支main