MAC-AutoML

MindPipe

MAC-AutoML

A powerful model compression framework for LLMs and LVLMs, adapted for NVIDIA GPUs and Huawei Ascend NPUs.

AI 简介

MindPipe 是一个面向大语言模型(LLM)和视觉语言模型(VLM)的统一模型压缩与评估框架。它支持11种量化方法(如AWQ、GPTQ)和7种剪枝方法(如Wanda),提供端到端的压缩、部署与多维评估能力;核心特点是跨硬件抽象设计,原生兼容NVIDIA GPU与华为昇腾NPU,并内置PPL、lm-eval-harness及VLMEvalKit等文本与多模态评测模块。适用于AI模型落地场景中对推理效率、硬件适配性与结果可复现性有明确要求的研发与部署工作。

Python
1k
Stars
24
Forks
4
Watchers
1
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分49.19
默认分支main