nanochat

nanochat 是一个用于训练大型语言模型（LLM）的实验性框架，旨在以极低成本在单个GPU上运行。其核心功能包括从头开始处理所有主要的LLM阶段，如分词、预训练、微调、评估、推理以及提供类似ChatGPT的聊天界面。技术特点体现在代码简洁可修改，并且能够通过调整单一参数`--depth`来自动优化其他超参数，从而实现计算效率最优。该项目非常适合那些希望以最小成本快速搭建和体验自家LLM的研究者或开发者使用。