MicroLM

MicroLM 是一个面向轻量级大语言模型的端到端训练与部署开源项目，支持自研31.7M参数模型和Qwen2.5-1.5B模型两条技术主线。核心功能涵盖Tokenizer构建、语料清洗与Pipeline处理、Pretrain/SFT训练、LoRA高效微调（最低0.14%可训参数）、KV Cache推理优化及vLLM服务化部署，并提供结构化自动评测体系。技术特点包括纯PyTorch自实现（含einsum）、BPE分词器、RoPE+SwiGLU架构、低开销Adaptor存储（最小仅1MB）及量化验证闭环。适用于教学实践、边缘/本地LLM定制、中小规模业务场景下的模型快速迭代与轻量部署。