← 返回 AI 开源导航

NVIDIA TensorRT-LLM

LLM 推理与部署协议 Apache-2.0★ 15kC++

GitHub 仓库官方网站

一、项目简介

TensorRT-LLM 是 NVIDIA 开源的大模型推理加速库。它在 TensorRT 基础上针对 Transformer 结构做了深度优化（算子融合、量化、投机解码等），能显著压榨 GPU 性能，是追求极致吞吐与低延迟的首选方案。

二、核心特性

  • 算子融合与内核优化：减少访存与开销；
  • 低精度量化：FP8、INT4 AWQ、GPTQ 等；
  • In-flight batching：请求级连续批处理；
  • 投机解码：用小模型猜、大模型验，提速明显；
  • 张量并行：多 GPU / 多节点扩展；
  • 可接入 Triton：组成完整推理服务。

三、适用场景

  • 对吞吐/延迟要求苛刻的线上推理；
  • 大批量离线生成；
  • NVIDIA GPU 环境下的性能调优。

四、快速上手

pip install tensorrt-llm        # 需 NVIDIA GPU + 匹配的 CUDA 驱动
# 典型流程：转换权重 → 编译 engine → 推理

五、注意事项

  • 仅限 NVIDIA GPU，且对驱动/CUDA 版本敏感；
  • 部署需编译 engine，流程比 vLLM 复杂；
  • 量化会带来少量精度损失，需评估业务容忍度。