PEFT

一、项目简介

PEFT（Parameter-Efficient Fine-Tuning）是 Hugging Face 的参数高效微调库。它用 LoRA、QLoRA 等技术只训练极少量参数，就能让大模型适配新领域，把微调显存与成本降低一个数量级。

二、核心特性

• LoRA / QLoRA：低秩适配，训练参数量极小；
• 多种方法：Prefix Tuning、P-Tuning、IA3、AdaLoRA；
• 无缝集成：与 Transformers、Accelerate、TRL 配合；
• 适配器可插拔：一个底座切换多个任务适配器；
• 量化训练：支持 4bit 量化下微调。

三、适用场景

• 消费级显卡（如 24G）微调 7B~14B 模型；
• 领域/风格定制（客服、法律、文案）；
• 多任务共用一个底座模型。

四、快速上手

pip install peft transformers
from peft import LoraConfig, get_peft_model
cfg = LoraConfig(r=16, lora_alpha=32, target_modules=["q_proj","v_proj"])
model = get_peft_model(base_model, cfg)

五、注意事项

• r、lora_alpha、target_modules 是关键超参；
• 推理可合并权重提速，也可动态加载适配器；
• 数据质量比数量更重要。