← 返回 AI 开源导航

Tensorflow Serving

LLM 推理与部署协议 Apache-2.0★ 6.4kC++

GitHub 仓库

一、项目简介

TensorFlow Serving 是 Google 开源的高性能模型服务系统，专为生产环境设计，支持模型热更新、版本管理与批处理，是 TensorFlow 模型部署的经典方案。

二、核心特性

  • 高性能 gRPC / REST 服务；
  • 模型版本管理与热更新；
  • 批处理支持；
  • 低延迟高吞吐；
  • 与 TensorFlow 生态无缝集成；
  • 工业级成熟稳定。

三、适用场景

  • TensorFlow / Keras 模型的生产部署；
  • 需要模型版本管理与热更新；
  • 高并发在线推理服务。

四、快速上手

docker run -p 8501:8501 \
  --mount type=bind,source=/path/to/model,target=/models/mymodel \
  -e MODEL_NAME=mymodel -t tensorflow/serving
curl -d '{"instances": [...]}' -X POST http://localhost:8501/v1/models/mymodel:predict

五、注意事项

  • 需导出为 SavedModel 格式；
  • 批处理与超时参数需调优；
  • 注意版本与硬件匹配。