bitsandbytes

bitsandbytes 是一个面向 PyTorch 的轻量级量化库，专为降低大语言模型（LLM）推理与训练的显存开销而设计。核心功能包括：8-bit 优化器（保持32位精度性能的同时大幅节省内存）、LLM.int8()（向量级8位量化，兼顾内存减半与零性能损失）、以及QLoRA（4位量化结合低秩适配，支持高效微调）。其提供即插即用的量化线性层（Linear8bitLt/Linear4bit）和优化器模块，无需修改模型结构即可集成。适用于GPU资源受限场景下的LLM本地部署、微调与研究实验，尤其适合单卡消费级显卡运行百亿参数模型。