qlora

QLoRA 是一个用于量化大语言模型高效微调的项目。它通过bitsandbytes库实现4位量化，并与Hugging Face的PEFT和transformers库集成，能够在单个48GB GPU上对650亿参数的模型进行微调，同时保持16位微调任务的性能。QLoRA的核心创新包括使用信息理论最优的数据类型4-bit NormalFloat、双重量化以及分页优化器来管理内存峰值。该项目非常适合需要在有限硬件资源下对大规模语言模型进行微调的研究者或开发者使用。