huggingface

peft

huggingface

🤗 PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.

AI 简介

PEFT 是一个用于大语言模型参数高效微调的开源库,支持 LoRA、Adapter、IA3 等主流 PEFT 方法。它通过仅训练少量新增参数(如低秩矩阵、适配器层或可学习提示),显著降低显存占用与计算开销,同时保持接近全量微调的性能。项目深度集成 Hugging Face Transformers 和 Diffusers,提供统一 API 封装、自动模块注入与分布式训练支持,适用于资源受限场景下的模型适配。典型使用场景包括:LLM 领域迁移、多任务轻量适配、边缘设备部署及科研实验中的快速方法验证。

Python
Apache License 2.0
21.4k
Stars
2.4k
Forks
112
Watchers
16
Issues

Star 增长

今日0
近 7 天0
近 30 天+54
综合评分45
默认分支main