← 返回 AI 开源导航

Bentoml

LLM 推理与部署

GitHub 仓库

一、项目简介

BentoML 是开源的模型服务化框架，用于把训练好的模型打包为标准化、可部署的推理服务（Bento），支持自适应批处理、GPU 推理与云原生部署，是从实验走向生产常用的工具。

二、核心特性

  • 标准化打包：模型 + 依赖打包为 Bento；
  • 自适应批处理：自动合并请求提升吞吐；
  • 多框架支持：PyTorch、TensorFlow、sklearn、transformers 等；
  • 云原生部署：支持 Docker / K8s / 云平台；
  • API 自动生成：REST / gRPC；
  • 监控与并发管理。

三、适用场景

  • 模型推理服务化与上线；
  • 需要批处理与高并发的部署；
  • 统一模型交付与版本管理。

四、快速上手

pip install bentoml
# service.py
import bentoml
@bentoml.service
class MyService:
    @bentoml.api
    def predict(self, text: str) -> str: ...
# bentoml serve service:MyService

五、注意事项

  • 打包与部署配置有一定学习成本；
  • 注意依赖与运行环境一致性；
  • 生产环境需规划资源与扩缩容。