bitsandbytes

bitsandbytes 是一个通过 k 位量化技术使大型语言模型在 PyTorch 上更易于访问的库。其核心功能包括8位优化器、8位量化（LLM.int8()）和4位量化(QLoRA)，这些功能显著减少了推理和训练时的内存消耗，同时保持了高性能。其中，8位优化器利用块级量化以极低的内存成本维持32位性能；8位量化则通过矢量级量化减少内存使用而不损失性能；QLoRA 则通过将模型量化至4位并引入少量可训练的LoRA权重来实现高效训练。此项目特别适用于需要运行或微调大型语言模型但受硬件资源限制的场景，如个人开发者、研究机构及小型企业等。