nanowhale

nanowhale 是一个约1.1亿参数的轻量级开源语言模型，基于 DeepSeek-V4 架构从零训练，完整实现了 MLA、MoE（4+1 专家）、Hyper-Connections 和 Multi-Token Prediction 等核心机制。项目提供预训练基座模型和 SFT 微调后的对话模型，并开源全部训练代码、配置与 tokenizer。适用于资源受限环境下的模型研究、教学演示、本地轻量级对话应用及 DeepSeek-V4 架构复现验证。