← 返回 AI 开源导航

Bmtrain

训练与微调

GitHub 仓库

一、项目简介

BMTrain 是 OpenBMB 开源的高效大模型训练工具，基于 ZeRO 系列优化与算子优化，显著降低显存占用，让有限显卡也能训练较大模型，易用性较好。

二、核心特性

  • 显存优化：ZeRO 系列支持；
  • 高效算子：优化训练速度；
  • 与 PyTorch 集成：改造成本低；
  • 易用 API；
  • 支持大模型训练；
  • 便于二次开发。

三、适用场景

  • 低资源大模型训练；
  • 模型微调实验；
  • 显存受限研究。

四、快速上手

pip install bmtrain
import bmtrain as bmt
bmt.init_distributed(seed=0)
model = bmt.BMTrainModelWrapper(model)

五、注意事项

  • 需配置分布式环境；
  • 优化会带来一定通信开销；
  • 注意库版本兼容。