Tensorrt

一、项目简介

TensorRT 是 NVIDIA 的高性能深度学习推理优化器与运行时。它通过算子融合、精度校准（FP16/INT8）、内核自动调优等手段，最大化 GPU 上的推理性能，广泛应用于生产部署。

二、核心特性

• 算子融合：减少层间开销与显存访问；
• 低精度推理：FP16 / INT8 / FP8（新硬件）；
• 自动内核调优：针对具体 GPU 选最优实现；
• 动态形状支持；
• 低延迟高吞吐；
• 与 CUDA / TensorRT-LLM 生态集成。

三、适用场景

• GPU 推理加速与生产部署；
• 边缘设备（Jetson）推理；
• 对延迟敏感的生成服务。

四、快速上手

# Python API（TensorRT 随 CUDA 生态安装）
import tensorrt as trt
logger = trt.Logger(trt.Logger.WARNING)
builder = trt.Builder(logger)

五、注意事项

• 仅支持 NVIDIA GPU；
• 需匹配驱动与 CUDA 版本；
• 模型转换（ONNX → engine）有一定门槛。