100M

Tiny LLM Studio 是一个端到端的工作台，旨在帮助用户在 Apple Silicon（M 系列）MacBook 上从零开始训练一个约 0.1B 参数的中文大模型。该项目采用类 LLaMA 架构（RoPE + RMSNorm + SwiGLU + GQA），并通过 FastAPI 和 React 构建了一个 Web UI，以实现从数据采集、Tokenizer 训练到模型预训练及微调的一站式流程。它支持预训练、监督微调（SFT）、直接偏好优化（DPO）等关键功能，并提供了一个流式 chat CLI 用于与模型对话。适用于拥有 M4 Pro / 48GB 统一内存 MacBook 的研究人员或开发者，在有限硬件条件下快速实验和迭代语言模型。