Fairscale

一、项目简介

FairScale 是 Meta（Facebook Research）开源的 PyTorch 扩展库，提供大规模训练所需的高性能组件，如 FSDP（完全分片数据并行）的早期实现、优化器状态分片、混合精度与各类模型并行工具。

二、核心特性

• FSDP 早期实现：显存高效的大模型训练；
• 优化器状态分片（OSS）；
• 混合精度与梯度累积；
• 模型并行工具；
• 与 PyTorch 生态兼容；
• 适合研究实验。

三、适用场景

• 大模型训练显存优化；
• 研究 FSDP 与分片策略；
• 需要灵活并行组件的实验。

四、快速上手

pip install fairscale
from fairscale.nn.data_parallel import FullyShardedDataParallel as FSDP
model = FSDP(model)

五、注意事项

• 部分功能已被 PyTorch 原生 FSDP 取代；
• 项目维护状态需关注；
• 注意与 PyTorch 版本匹配。