LoRA

LoRA是一个用于大型语言模型低秩适应的Python库。它通过学习一对秩分解矩阵来减少可训练参数的数量，同时冻结原始权重，从而大幅降低存储需求，并在不引入推理延迟的情况下实现高效的任务切换。该技术特别适用于需要对预训练模型进行特定任务微调但又受限于计算资源或希望保持模型轻量化的场景。基于PyTorch框架开发，支持包括RoBERTa和DeBERTa在内的多种模型，并已被Hugging Face整合进其PEFT库中。实验表明，在GLUE基准测试上，LoRA仅需训练少量参数即可达到甚至超越全量微调的效果。