mergekit

mergekit 是一个用于合并预训练大型语言模型的工具包。它支持多种模型如Llama、Mistral、GPT-NeoX和StableLM等，并提供多种合并算法，包括基于梯度插值的方法。该工具包采用外存处理技术，在资源受限的情况下也能高效运行，仅需8GB显存即可加速合并过程，同时也完全支持CPU运算。适用于需要整合不同模型优势但又希望避免额外训练成本或计算开销的场景，比如在不增加推理成本的前提下提升模型性能或创造新功能。