mergekit

mergekit 是一个用于合并预训练大语言模型（LLM）的开源工具包。它支持多种模型融合算法（如线性插值、块级梯度插值、MoE结构合并等），采用内存映射与懒加载技术，可在低资源环境（如仅8GB VRAM或纯CPU）下完成大规模模型合并；兼容Llama、Mistral、GPT-NeoX等主流架构，并提供Tokenizer移植、多阶段合并及LoRA提取等扩展能力。适用于模型能力整合、领域适配、轻量化部署及无数据知识迁移等场景。