← 返回 AI 开源导航

Triton Inference Server

LLM 推理与部署协议 BSD-3-Clause★ 11.1kPython

GitHub 仓库

一、项目简介

Triton Inference Server 是 NVIDIA 开源的高性能推理服务框架，支持多种深度学习框架后端（PyTorch、TensorRT、ONNX、TensorFlow 等），提供动态批处理、并发模型执行与标准化接口，是企业级模型服务化的常用平台。

二、核心特性

  • 多后端支持：TensorRT、ONNX、PyTorch、TensorFlow 等；
  • 动态批处理：自动合并请求提升吞吐；
  • 并发模型执行：多模型共享 GPU；
  • 标准化接口：HTTP / gRPC；
  • 模型装配（Ensemble）：串联多模型流水线；
  • 监控与指标输出。

三、适用场景

  • 企业级模型推理服务化；
  • 多模型统一托管与调度；
  • 需要动态批处理与高并发的场景。

四、快速上手

docker run --gpus all -p 8000:8000 -p 8001:8001 -p 8002:8002 \
  -v /path/to/models:/models nvcr.io/nvidia/tritonserver:24.09-py3 \
  tritonserver --model-repository=/models

五、注意事项

  • 主要依赖 NVIDIA GPU 生态；
  • 配置（model config）较繁琐，需按模型调整；
  • 注意版本与驱动 / CUDA 兼容。