LoRA

LoRA 是一种针对大语言模型的低秩自适应微调技术，通过在原始权重旁注入可训练的低秩矩阵来实现高效参数更新，同时冻结主干模型参数。其核心特点是显著减少可训练参数量（如 DeBERTa XXL 从 1.5B 降至 4.7M）、零推理延迟、支持快速任务切换，并在 GLUE 等基准上达到媲美全量微调的效果。项目提供 PyTorch 原生实现（loralib），兼容 Hugging Face 模型，适用于资源受限场景下的多任务适配、边缘部署及持续学习等需求。