
reasoning-from-scratch
rasbt
Implement a reasoning LLM in PyTorch from scratch, step by step
AI 简介
该项目是一个面向教育的 PyTorch 教学代码库,旨在从零开始逐步实现具备推理能力的大语言模型(LLM)。它基于预训练基础模型,通过可复现的 Notebook 实现思维链(Chain-of-Thought)、自洽性验证、强化学习微调等核心推理机制,并支持加载主流开源模型权重。项目强调原理可视化与动手实践,不追求工业级规模,而是帮助学习者深入理解 LLM 推理增强的技术路径与工程细节。适用于 AI 教育、LLM 原理教学、研究型学习及中小型推理模型原型开发场景。
Jupyter Notebook
Apache License 2.04.7k
Stars
706
Forks
61
Watchers
2
Issues
Star 增长
今日0
近 7 天0
近 30 天+139
综合评分70.55
默认分支main