MicroLM

MicroLM 是一个轻量级语言模型（LLM）的训练、微调、评测与部署全链路项目。它基于自研的 31.7M 参数 MicroLM 和 Qwen2.5-1.5B 两条主线，支持从数据处理到模型服务化的完整流程。项目使用纯 PyTorch 实现了包括 tokenizer 训练、语料处理、预训练、SFT 微调、LoRA 高效微调、KV Cache 推理优化等核心功能，并通过 Hugging Face 生态工具集实现了对 Qwen 模型的迁移与部署。特别地，其 LoRA 微调效率显著，仅需训练极少比例参数即可达到接近全参模型的效果。此项目适用于需要构建高效且可扩展的语言模型解决方案的研究者和开发者，尤其适合那些希望在有限资源下实现高质量 LLM 应用的场景。