pirate_llm

nanoBeard 是一个轻量级、海盗主题的自研语言模型，基于 TinyStories 数据集的定制化版本从零训练，并经海盗风格指令微调（SFT）。其核心采用约1380万参数的 GPT 风格解码器架构，支持 256 上下文长度与自定义 BPE 分词器，代码结构模块化，支持多版本模型（如 Sloop、Brig）统一管理。项目定位为教学实践型小模型，适用于 NLP 教学演示、微型语言模型原理验证及低资源文本生成实验场景。