Accelerate

一、项目简介

Accelerate 是 Hugging Face 的分布式训练库，让你用同一份训练代码无缝运行在单卡、多卡（DDP/FSDP）、DeepSpeed 或 TPU 上，屏蔽底层并行细节，是绝大多数微调与预训练流程的底座。

二、核心特性

• 一套代码多硬件：自动适配运行环境；
• 并行后端：DDP、FSDP、DeepSpeed；
• 混合精度：fp16 / bf16 自动管理；
• 自动设备放置：模型、数据、优化器；
• 与 Trainer / TRL / PEFT 深度集成；
• 简化 checkpoint与恢复。

三、适用场景

• 多卡微调与预训练；
• 跨环境迁移训练代码；
• 需要统一分布式训练抽象的项目。

四、快速上手

pip install accelerate
accelerate config        # 交互式生成训练配置
accelerate launch train.py

五、注意事项

• 与 DeepSpeed / FSDP 配置需配合调试；
• 注意通信开销与显存上限；
• 多机训练需保证网络与依赖一致。