← 返回 AI 开源导航

Onnx Runtime

LLM 推理与部署

GitHub 仓库

一、项目简介

ONNX Runtime 是跨平台的高性能推理引擎，用于运行 ONNX 格式模型。它支持多种硬件加速后端、量化与图优化，是模型从训练框架走向生产部署的常用桥梁。

二、核心特性

  • 跨平台：Linux / Windows / macOS / 移动端；
  • 多硬件后端：CPU、CUDA、TensorRT、OpenVINO、CoreML 等；
  • 量化支持：动态/静态量化降低体积与延迟；
  • 图优化：算子融合与常量折叠；
  • 多语言 API：Python / C++ / C# / Java 等；
  • 轻量易部署。

三、适用场景

  • 模型推理部署与加速；
  • 边缘/端侧推理；
  • 跨框架模型统一运行。

四、快速上手

pip install onnxruntime
import onnxruntime as ort
s = ort.InferenceSession("model.onnx")
print(s.run(None, {"input": x}))

五、注意事项

  • 模型需先导出为 ONNX；
  • 部分算子可能不被支持，需验证；
  • 注意运行时版本与硬件驱动匹配。