peft

PEFT 是一个用于高效参数微调的库，旨在通过仅调整少量额外参数来适应大型预训练模型到各种下游应用中，从而显著降低计算和存储成本。其核心功能包括支持多种先进的参数高效微调技术如LoRA、适配器等，并与Transformers、Diffusers及Accelerate等库无缝集成，便于模型训练、推理以及分布式处理。适用于需要对大规模语言模型进行定制化但又受限于资源开销的场景，例如在特定领域内优化模型性能或在有限硬件条件下开展研究工作。