Torchserve

一、项目简介

TorchServe 是 PyTorch 官方开源的模型服务框架，用于在生产环境部署 PyTorch 模型，支持模型打包、版本管理、批处理与自动扩缩，是 PyTorch 模型上线的传统标准方案。

二、核心特性

• PyTorch 原生：官方维护，兼容性好；
• 模型打包：生成 .mar 归档；
• 版本管理与多模型托管；
• 动态批处理；
• 自动扩缩容；
• 监控指标与日志。

三、适用场景

• PyTorch 模型的生产部署；
• 需要版本管理与灰度发布；
• 企业级模型服务化。

四、快速上手

pip install torchserve torch-model-archiver
torch-model-archiver --model-name mymodel --version 1.0 --model-file model.py --serialized-file model.pt --handler image_classifier
torchserve --start --model-store model_store --models mymodel.mar

五、注意事项

• 打包流程较繁琐；
• 需注意 handler 与输入输出格式；
• 注意版本与依赖匹配。