Optimum

一、项目简介

Optimum 是 Hugging Face 的模型优化工具库，把 ONNX Runtime、OpenVINO、TensorRT 等加速后端无缝接入 Transformers，让模型推理提速几乎不需要改代码。

二、核心特性

• 统一加速接口：一套 API 对接多种后端；
• 量化工具：动态 / 静态量化；
• 与 Transformers 深度集成；
• 支持 Intel / NVIDIA 等硬件；
• 官方维护，文档完善；
• 易用性强，改造成本低。

三、适用场景

• 模型推理加速；
• 量化部署与体积压缩；
• 特定硬件上的性能优化。

四、快速上手

pip install optimum[onnxruntime]
from optimum.onnxruntime import ORTModelForSequenceClassification
model = ORTModelForSequenceClassification.from_pretrained("distilbert-base-uncased", from_transformers=True)

五、注意事项

• 需安装对应加速后端；
• 不同模型支持程度有差异；
• 量化会带来精度损失，需评测。