rasbt

reasoning-from-scratch

rasbt

Implement a reasoning LLM in PyTorch from scratch, step by step

AI 简介

该项目是一个面向教育的 PyTorch 教学代码库,旨在从零开始逐步实现具备推理能力的大语言模型(LLM)。它基于预训练基础模型,通过可复现的 Notebook 实现思维链(Chain-of-Thought)、自洽性验证、强化学习微调等核心推理机制,并支持加载主流开源模型权重。项目强调原理可视化与动手实践,不追求工业级规模,而是帮助学习者深入理解 LLM 推理增强的技术路径与工程细节。适用于 AI 教育、LLM 原理教学、研究型学习及中小型推理模型原型开发场景。

Jupyter Notebook
Apache License 2.0
4.7k
Stars
706
Forks
61
Watchers
2
Issues

Star 增长

今日0
近 7 天0
近 30 天+139
综合评分70.55
默认分支main