TensorRT5介绍及Pytorch转TensorRT5代码示例

TensorRT的使用步骤：（假设以及有一个训练好的模型）
（1） 根据模型创建TensorRT网络定义
（2） 调用TensorRT构建器从网络创建优化的运行引擎
（3） 序列化和反序列化引擎，以便在运行时快速创建引擎
（4） 为引擎提供数据以执行计算

一般流程是这样的。
cpu： pytorch -> onnx -> onnxruntime
gpu：pytorch -> onnx -> onnx2trt -> TensorRT
上述库python、C++接口都具备，可以根据需要采用
转自：python训练的pytorch模型，如何使用c++调用并使用TensorRT加速?
 
tensorrt安装_深度学习模型部署(1)Pytorch转TensorRT(C++版)
 
 
说到底TensorRT的使用还是调包，只要对其流程熟悉了，使用起来也就不困难；
 目前的模型是简单的unet结构，模型的层TensorRT都支持，下一步需要学习TRT中如何自定义自己的层，如DCN、NMS等。
 教程还是官方的详细，本文也是对官方教程的翻译，再加上自己的一些理解与可能遇到的错误。建议英文阅读无障碍的朋友可以直接看官方的教程。
 
问题：为什么没有onnx转换pytorch的方法？ - 九千树的回答 - 知乎
 因为从pytorch到onnx，包含权重参数信息的网络结构被优化了，再返回去不好返
                                    TensorRT集成支持pytorch onnx插件（DCN，HSwish ...等）。更简单的推理和插件API重新实现CenterNet：ctdet_coco_dla_2x CenterTrack：coco_tracking coco TensorRT集成支持pytorch onnx插件（DCN，HSwish ...等）。推理和插件API重新实现CenterNet：ctdet_coco_dla_2x CenterTrack：coco_tracking coco_tracking.onnx下载nuScenes_3Dtracking.onnx下载DBFace使用TensorRT-Integrate install protobuf == 3.11.4（或> = 3.8.x，但这很麻烦） .sh make run -j32推理代码自动引擎= TRTInfer :: loadEngine（“ models / efficiency-b0.fp32.trtmodel”）;
                                    本文主要以Pytorch-Unet和antipodal robotic grasping为例，讲解了如何在上述网络中部署tensorrt。通过部署这两种网络，可以举一反三学会所有端到端网络的部署方式。
                                    用opencv的dnn模块做yolov5目标检测的程序，包含两个步骤：(1).把pytorch的训练模型.pth文件转换到.onnx文件。第二步编写yolov5.py文件，把yolov5的网络结构定义在.py文件里，此时需要注意网络结构里不能包含切片对象赋值操作，F.interpolate里的size参数需要加int强制转换。不过，最近我发现在yolov5-pytorch程序里，其实可以直接把原始训练模型.pt文件转换生成onnx文件的，而且我在一个yolov5检测人脸+关键点的程序里实验成功了。
                                    解释执行：由解释器根据输入的数据当场执行而不生成任何的目标程序。编译执行：先将源代码编译成目标语言（例如机器语言）之后，通过连接程序连接到生成的目标程序进行执行。python和C++python是一种脚本语言，是解释执行的，不需要经过编译，所以很方便快捷，且能够很好地跨平台，写一些小工具小程序特别合适。而C++则是一种需要编译后运行语言，在特定的机器上编译后在特定的机上运行，运行效率高，安全稳定。但编译后的程序一般是不跨平台的。
                                    众所周知，python训练pytorch模型得到.pt模型。但在实际项目应用中，特别是嵌入式端部署时，受限于语言、硬件算力等因素，往往需要优化部署，而tensorRT是最常用的一种方式。本文以yolov5的部署为例，说明模型部署在x86架构上的电脑端的流程。（部署在Arm架构的嵌入式端的流程类似）。
                                    使用 C++ 的 OpenCV 接口调用 ONNX 格式的 PyTorch 深度学习模型进行预测（Windows, C++, PyTorch, ONNX, Visual Studio, OpenCV）
需要onnx模型推理的功能，直接引用onnxruntime代码会引起编译问题。所以考虑动态加载onnxruntime的动态库完成。C++的接口依然需要源码依赖，所以考虑使用onnxruntime的c接口。
1.How to access Onnxruntime C API:
要访问c api，需要拿到 c api的函数指针，而onnxruntime 的所有capi定义在 一个结构体中：
https://github.com/microsof
                                    系统环境：网上相关流程很多，我就不重复了
可以参考Pytorch分类模型转onnx以及onnx模型推理
或者直接看Pytorch官方怎么干的。ONNX Githubonnxruntime调用onnx模型推理时有一个provider的参数，可选 [‘TensorrtExecutionProvider’, ‘CUDAExecutionProvider’, ‘CPUExecutionProvider’]，不知道是还需要其他设置还是怎样，'TensorrtExecutionProvider’和’CPUExecuti
                                    pytorch—onnx—tensorflow踩坑笔记
首先我转的模型是centertrack这个模型，其实总的来说这个模型还是比较简单的，但是由于其中有一个DCN卷积在onnx和tensorflow中不支持的自定义算子，所以有很多坑都是围绕他进行的。
首先就是对这个DCN卷积部分的处理，我使用了一个插件的形式来方便插入到onnx中，这是由于onnx支持自定义算子的实现。
插件部分：（类似于这样的插件定义的形式）
###############################################