gbc-transformer

gbc-transformer 是一个在原版 Game Boy Color 上运行 TinyStories-260K 语言模型的项目。该项目使用 GBDK-2020 开发，通过量化和整数/定点运算实现了一个小型的变压器模型，支持基于 D-pad 和按钮的输入以及屏幕键盘。它在设备上进行 BPE 分词，并通过 RoPE、注意力机制、RMSNorm 和 SwiGLU 风格的 MLP 进行推理，同时利用 SRAM 作为 KV 缓存以保持低内存占用。尽管目前生成速度较慢且输出质量有限，但该项目展示了在硬件资源极其有限的情况下运行复杂机器学习模型的可能性。适合对复古计算平台或嵌入式系统上的 AI 应用感兴趣的开发者探索和研究。