最近要使用openvino部署一个深度学习模型，模型主要是使用pytorch进行训练，部署时首先转为onnx模型，然后在将onnx模型转为openvino进行部署，本文就记录一下在onnx模型转openvino时所遇到的坑以及解决办法，未来有遇到新的问题会补充到本文。

1：openvino模型不支持动态shape的输入和输出

onnx模型转openvino的第一个问题就是openvino不支持输入和输出的shape是动态的，而onnx是支持动态shape的输入和输出，onnx动态shape的设置是torch.export.onnx()中的 dynamic_axes参数，具体使用方法不在多说。

2.openvino模型只支持单个输入

这个问题还是比较麻烦的，openvino好像可以使用多个输出。目前我尝试的只能使用单个输入，但是onnx可以确定的是支持多个输入和输出。评论区有老哥尝试成功了openvino的多输入输出，具体可以询问评论区的老哥。

3.openvino并不支持onnx所有的o perator

openvino支持的onnx的operator可在 https://docs.openvinotoolkit.org/latest/openvino_docs_MO_DG_prepare_model_Supported_Frameworks_Layers.html#onnx_supported_operators 查询，我当时没有用openvino部署成功是因为我的模型中有LSTM，而openvino不支持onnx中使用了peephole的LSTM，虽然我用的是pytorch的LSTM接口而pytorch中并未说明LSTM是否使用了peephole，但是我的onnx模型并未成功转成openvino，因此估计pytorch中的LSTM还是使用了peephole。

4.openvino模型不支持onnx模型中的if节点

这个问题着实难为我了好几天，就是因为openvino不支持if语句，然后我把代码中的所有if语句全部删除了，但是删除了if语句发现转换的onnx模型中依然有if节点，最后发现是 pytroch中的squeeze()算子在转换成onnx之后会产生If节点 ，具体可以看另外的一篇博客 onnx模型转openvino报错nGraph does not support the following ONNX operations: If_hyliuisme的博客-CSDN博客 。

5.加载openvino模型报错tensor dynamic shape

这个报错好像还是因为onnx模型中有些变量是动态shape的原因，我代码中有很多变量使用诸如view()方法或者其他需要维度的方法时没有使用固定的数据而是使用tensor.size()，如a.view(b.size(0), b.size(1))这种写法时就报错了，但是当我改成a.view(5, 10)这种固定数据的写法就不报错了，因此我估计是onnx模型转openvino时参数都需要直接固定下来而不是使用其他变量提供参数，openvino只支持静态图结构，所以为了避免出错还是建议参数直接写死。

目前遇到的onnx转openvino坑就这几个，后续有新的坑还会及时补充本文。

最近要使用openvino部署一个深度学习模型，模型主要是使用pytorch进行训练，部署时首先转为onnx模型，然后在将onnx模型转为openvino进行部署，本文就记录一下在onnx模型转openvino时所遇到的坑以及解决办法，未来有遇到新的问题会补充到本文。1：openvino模型不支持动态shape的输入和输出onnx模型转openvino的第一个问题就是openvino不支持输入和输出的shape是动态的，而onnx是支持动态shape的输入和输出，onnx动态shape的设置是tor open Vino ：Anaconda3-2020.02-Windows-x86_64.exe tensorflow>=1.2.0,<2.0.0 mxnet>=1.0.0,<=1.3.1 networkx=2.0 TensorFlow 2.0 onnx _to_keras( onnx _model, input_names, input_shapes=None, name_policy=None, verbose=True, change_ordering=False) -> {Keras model} onnx _model ：要 转 换的 ONNX 模型 input_names ：带有图形输入名称的列表 input_shapes ：覆盖输入形状（实验性的） name_policy ：[' name_policy '，'short'，'default']覆盖图层名称（实验性） verbose ：详细输出 change_ordering:将排序更改为HWC（实验性） ONNX 模型 import onnx from onnx 2 1. 准备环境：需要安装 ONNX Runtime和Python运行环境。 2. 加载 模型 ：使用 ONNX Runtime的InferenceSession()函数加载 ONNX 模型 文件，即将 . onnx 文件读取到运行时环境中。 3. 准备输入：我们需要准备包括图像在内的所有输入数据。具体来说，我们需要为图像指定长度和宽度，并在代码中进行预处理，例如调整图像大小、在像素值上进行归一化。 4. 运行 模型 ：将输入数据传递给InferenceSession()函数的run() 方法并获取 模型 的输出结果。此时，我们可以将输出结果处理为最终的预测结果，例如通过设置阈值进行二元分类，或者到位于最高概率值的预测类别。 5. 测试 模型 ：可以使用一些测试样本作为输入，以确保 模型 在不同样本上的性能和准确性。 总之，具体的 部署 步骤与代码，需要根据您的 模型 和 部署 环境进行调整。但是，无论如何，这些步骤都涉及将 模型 加载到运行时环境中、准备输入和运行 模型 。 pytorch模型转onnx,报错kind_.is_prim() INTERNAL ASSERT FAILED at /pytorch/torch/csrc/jit/ir.cpp:922 weixin_40811643: 碰到了类似的问题，aten:copy，不知道从何入手 VScode配置隧道连接至集群的某个节点 abc_114: 亲测有效。感谢博主分享 onnxruntime版本和CUDA版本的对应 Anjou_YES！: 大佬知道cuda11.2对应哪个版本的onnxruntime么