minimind

MiniMind 是一个旨在以极低成本和时间训练出 64M 参数的小型语言模型的开源项目。其核心功能包括从零开始构建轻量级大模型，整个训练过程仅需 2 小时，并且可以在普通个人 GPU 上完成。该项目不仅提供了完整的训练链路代码，还覆盖了 MoE、数据清洗、预训练、监督微调、LoRA、RLHF 等多种技术模块。MiniMind 适合于希望快速入门大语言模型领域或进行小规模实验的研究者和个人开发者使用，为他们提供了一个可复现、可理解、可扩展的起点。此外，项目基于 PyTorch 原生实现，不依赖第三方库提供的高层抽象接口，确保了代码的透明性和可学习性。