nanochat

nanochat 是一个极简、可实验的大型语言模型（LLM）训练与推理框架，专为单GPU节点优化设计。它覆盖从分词、预训练、微调、评估到Web聊天界面的完整LLM开发流程，支持通过调节模型深度（--depth）自动推导其余超参数，显著降低训练成本（如GPT-2级模型可在约1.65小时内完成训练）。项目强调可复现性、可调试性和计算效率，适用于LLM教学、算法验证、低成本原型开发及小型团队的模型定制研究。