← 返回 AI 开源导航

Onnx

LLM 推理与部署

一、项目简介

ONNX(Open Neural Network Exchange)是开放的模型表示格式与生态系统,让模型可以在不同训练框架(PyTorch、TensorFlow 等)与推理引擎之间自由迁移,是模型部署标准化的重要基础。

二、核心特性

  • 跨框架互操作:一次导出,多处运行;
  • 标准化算子集:定义通用算子规范;
  • 工具链完善:转换、优化、可视化;
  • 广泛支持:主流框架与硬件均兼容;
  • 版本管理;
  • 社区活跃。

三、适用场景

  • 模型跨框架迁移;
  • 推理引擎统一部署;
  • 模型交付与标准化。

四、快速上手

pip install onnx onnxruntime
# PyTorch 导出:torch.onnx.export(model, dummy_input, "model.onnx")

五、注意事项

  • 算子兼容性需验证;
  • 动态形状需显式支持;
  • 注意 ONNX 版本与运行时匹配。