← 返回 AI 开源导航

Angelptm

训练与微调

GitHub 仓库

一、项目简介

AngelPTM 是腾讯开源的大规模预训练模型训练框架，面向万亿级参数模型，提供多种并行策略、显存优化与容错机制，服务于超大规模工业级预训练场景。

二、核心特性

  • 万亿级参数支持；
  • 多维并行：数据 / 张量 / 流水线并行；
  • 显存优化与高效 checkpoint；
  • 容错与恢复机制；
  • 与 PyTorch 生态兼容；
  • 工业级验证。

三、适用场景

  • 超大规模模型预训练；
  • 企业级大模型训练平台；
  • 并行训练系统研究。

四、快速上手

git clone https://github.com/Tencent/AngelPTM
cd AngelPTM && pip install -r requirements.txt
# 参考文档配置并行策略启动训练

五、注意事项

  • 部署与调优复杂，需大规模集群；
  • 资源门槛高，不适合小规模；
  • 注意版本与依赖一致性。