AutoGPTQ

An easy-to-use LLMs quantization package with user-friendly apis, based on GPTQ algorithm.

AI 简介

AutoGPTQ 是一个基于 GPTQ 算法的大型语言模型（LLM）权重量化工具包，支持 INT4 等低比特量化，提供简洁易用的 Python API，兼容 Hugging Face Transformers 生态。核心特性包括 Marlin 加速内核支持、无缝集成训练与推理流程、以及针对主流 LLM（如 LLaMA、GPT-J、MOSS）的优化量化能力。适用于资源受限环境下的 LLM 部署，如单卡 GPU 服务器、边缘设备或需降低显存占用与提升推理吞吐的生产场景。项目已停止维护，推荐迁移至 GPTQModel，但其技术方案与接口设计仍具参考价值。