MindPipe

MindPipe 是一个强大的模型压缩框架，适用于大型语言模型（LLMs）和视觉-语言模型（VLMs），支持NVIDIA GPU和华为Ascend NPU。其核心功能包括量化、剪枝及评估，通过统一的命令行接口提供11种量化方法和7种剪枝方法。该框架基于Python和PyTorch开发，采用模块化设计便于扩展，并强调实验结果的可复现性。内置了多种评估基准，如PPL、lm-eval-harness零样本测试和VLMEvalKit多模态评测。MindPipe特别适合需要在保持模型性能的同时减少计算资源消耗的应用场景，如边缘设备部署或数据中心优化。