问题：如何指定onnx.save的opset版本？

Question

在使用 ONNX（Open Neural Network Exchange）保存模型时，经常会遇到如何指定 `onnx.save` 的 opset 版本的问题。ONNX 模型的 opset 版本决定了模型中可使用的算子集合及其版本，不同版本的 opset 可能会影响模型的兼容性和功能支持。虽然 `onnx.save()` 函数本身不提供直接参数用于设置 opset 版本，但 opset 信息通常是在模型构建或转换过程中定义的，例如通过 `torch.onnx.export()` 或手动构造 `ModelProto` 对象时进行指定。因此，如何在保存 ONNX 模型时正确设置或修改 opset 版本，成为开发者在模型部署和跨平台迁移时关注的重点问题。

Answer 1

一、ONNX 模型与 Opset 版本的基本概念

ONNX（Open Neural Network Exchange）是一种开放的模型格式，旨在实现不同深度学习框架之间的互操作性。在 ONNX 中，模型的 opset（Operator Set）版本决定了模型中可以使用的算子（operator）集合及其行为。不同的 opset 版本可能会引入新的算子、修改已有算子的行为，或者弃用某些算子。

例如，ONNX 的 opset_version=13 引入了对 Dynamic Shape 的更好支持，而 opset_version=18 则进一步增强了对量化算子的支持。

因此，在保存 ONNX 模型时，开发者需要关注 opset 版本的选择，以确保模型在目标推理平台（如 ONNX Runtime、TensorRT、OpenVINO 等）上能够正确运行。

二、`onnx.save()` 函数与 Opset 版本的关系

虽然 ONNX 提供了 onnx.save() 函数用于将模型保存为 .onnx 文件，但它本身并不提供直接参数来设置 opset 版本。这是因为 opset 版本是在模型构建或转换阶段就已经确定的。

以下是一些常见模型构建/转换方式中设置 opset 版本的方式：

• PyTorch 导出时通过 torch.onnx.export() 的 opset_version 参数设置
• TensorFlow/Keras 转换时通过 tf2onnx 工具指定
• 手动构造 ModelProto 对象时直接设置 opset_import 字段

因此，若要修改一个已有的 ONNX 模型的 opset 版本，通常需要重新构建或转换模型。

三、在不同框架中设置 Opset 版本的方法

以下是几种主流深度学习框架导出 ONNX 模型时如何设置 opset 版本的示例：

框架	方法	设置 Opset 的方式
PyTorch	torch.onnx.export()	opset_version=13
TensorFlow/Keras	tf2onnx.convert	opset=13
ONNX 手动构造	onnx.ModelProto()	model.opset_import[0].version = 13

四、修改已有 ONNX 模型的 Opset 版本

如果已经存在一个 ONNX 模型，但需要更改其 opset 版本，通常有以下几种方法：

1. 重新导出模型：使用原始框架重新导出模型，并在导出时指定所需的 opset 版本。
2. 使用 ONNX 工具链进行升级/降级：
   • onnx.version_converter 模块可用于尝试将模型从一个 opset 版本转换为另一个。
   • 注意：并非所有 opset 版本之间的转换都是可行的，尤其当涉及算子变更或行为不兼容时。
3. 手动修改 ModelProto：
   • 加载模型后，修改 model.opset_import[0].version 字段。
   • 该方法不推荐用于生产环境，因为可能导致模型不可用。

五、代码示例：使用 PyTorch 设置 Opset 并保存模型

import torch
import torch.onnx

# 定义一个简单的模型
class Net(torch.nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.linear = torch.nn.Linear(10, 1)

    def forward(self, x):
        return self.linear(x)

# 实例化并导出模型
model = Net()
dummy_input = torch.randn(1, 10)
onnx_model_path = "model.onnx"

torch.onnx.export(
    model,
    dummy_input,
    onnx_model_path,
    export_params=True,  # 存储训练参数
    opset_version=13,    # 设置 opset 版本
    do_constant_folding=True,
    input_names=['input'],
    output_names=['output']
)
  

六、流程图：ONNX 模型导出与 Opset 设置的典型流程

      graph TD
        A[定义模型] --> B[准备输入数据]
        B --> C{导出方式?}
        C -->|PyTorch| D[调用 torch.onnx.export()]
        C -->|TensorFlow| E[使用 tf2onnx]
        C -->|手动构建| F[创建 ModelProto]
        D --> G[设置 opset_version 参数]
        E --> H[设置 opset 参数]
        F --> I[设置 model.opset_import]
        G --> J[保存模型到 .onnx 文件]
        H --> J
        I --> J
    

七、Opset 版本选择的注意事项

在选择 ONNX 模型的 opset 版本时，开发者应综合考虑以下因素：

• 目标推理引擎支持的版本：如 ONNX Runtime 支持 up to opset 18，而某些嵌入式平台可能只支持到 opset 13。
• 模型中使用的算子是否在目标 opset 中可用：某些新算子可能仅在较高版本中引入。
• 动态形状支持：某些版本（如 13+）对动态输入的支持更完善。
• 模型转换的兼容性：高版本 opset 的模型可能无法在旧引擎中运行。