duguying

100M

duguying

training your 0.1B llm from zero

AI 简介

Tiny LLM Studio 是一个面向 Apple Silicon Mac 的端到端中文小规模大模型训练工作台,支持从零训练约 0.1B 参数(96M)的类 LLaMA 架构模型。核心功能包括数据采集、32k byte-level BPE 分词器训练、预训练(Pretrain)、监督微调(SFT)和直接偏好优化(DPO),全部集成于 FastAPI + React Web UI 中,并针对 MPS 后端深度优化。项目专为单机资源受限但需完整训练流程验证的研究者与开发者设计,适用于中文轻量级模型研发、教学演示及本地化模型定制等场景。

Python
46
Stars
6
Forks
46
Watchers
0
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分39.54
默认分支main