TRL

一、项目简介

TRL（Transformer Reinforcement Learning）是 Hugging Face 的模型对齐训练库，覆盖从监督微调（SFT）到奖励模型（RM）、再到 PPO / DPO 的完整 RLHF 流程，是把「基座模型」变成「好用助手」的关键工具。

二、核心特性

• SFTTrainer：指令监督微调；
• RewardTrainer：训练偏好奖励模型；
• PPOTrainer：经典强化学习对齐；
• DPOTrainer：直接偏好优化，更简单稳定；
• 与 PEFT 结合：支持 LoRA 方式低成本对齐。

三、适用场景

• 指令微调，让模型听懂指令；
• 人类偏好对齐（有用、无害、诚实）；
• 对话/助手类模型优化。

四、快速上手

pip install trl
from trl import DPOTrainer, DPOConfig
cfg = DPOConfig(beta=0.1, max_length=1024)
trainer = DPOTrainer(model, ref_model, args=cfg, train_dataset=ds)
trainer.train()

五、注意事项

• 偏好数据（chosen/rejected）质量决定对齐上限；
• DPO 通常比 PPO 更易训练、资源更省；
• 对齐后需人工评测，避免「过度拒答」。