之前序列化没有过多注意engine的大小问题，最近循环对一个模型序列化， 发现大小会变化 。不过经过验证， 并不影响前向的推理结果 。

经过查阅，找打这个解释 链接 ，可能国内打不开该网页。同样的现象：大小不同，但结果一致。

官方的解释：序列化的时候，依赖当前的机器状态【GPU, OS/kernel, CPU, system load, available memory, etc】

之前序列化没有过多注意engine的大小问题，最近循环对一个模型序列化，发现大小会变化。不过经过验证，并不影响前向的推理结果。经过查阅，找打这个解释链接，可能国内打不开该网页。同样的现象：大小不同，但结果一致。官方的解释：序列化的时候，依赖当前的机器状态【GPU, OS/kernel, CPU, system load, available memory, etc】更加详细的解释：通常，由TensorRT构建器由给定INetworkDefinition生成的CUDA引擎可能取决于各种 npm install --save @gd-com/utils 举个例子看看 ！ const gdCom = require ( '@gd-com/utils' ) // var { GdBuffer } = require('@gd-com/utils') const test1 = gdCom . putVar ( 8 ) const lengthBuffer = Buffer . alloc ( 4 ) lengthBuffer . writeUInt32LE ( test1 . length , 0 ) const finalBuffer = Buffer . concat ( [ lengthBuffer 2、 Tensor RT 发布的模型需要在相同GPU算力（compute capability）的情况下使用 否则会导致compute capability不匹配 问题 ，例如算力7.0发布的模型不能在7.5上用。 查询显卡算力：CUDA GPUs | NVIDIA Developer Tensor RT 得到的CUDA 引擎 序列化 以后模型 大小 不一样。 我是从caffemodel解析 生成 的 Tensor RT - engine ，发现同一个caffemodel得到的 Tensor RT - engine 大小 不一， 大小 每次相差几到几百KB，但是模型的检测结果 一致 。 疑问在于，优化过程应该不存在随机的过程，所以这个模型体积 大小 的变化从何而来呢？ 有人遇到了类似的 问题 ，官方给了解答（需要梯子），见下图 总的来说， 生成 CUDA- engine 的时候，结合了你的GPU, os/kernel，cpu， 系统负载， 多进程CPU占用低，主要是预处理的时间过少，Python 进程分发任务开销对于我们的ms级应用不可忽视。 对比为batch=8，进程、线程为8，时间均为8张时间，循环1000次测试。 多线程，平均为8.5ms(每千次次变动7.5-9.5S，近乎100%占用)； 多进程，平均为19ms（15-21ms）； Ubuntu18.04 + cuda10.0 + python3.7.6 + pytorch1.4.0 + tensor rt 7.0.0.11 二、 onnx 模型导入 tensor rt 生成 优化 engine 找到 Tensor RT 的安装目录，里面有一个t rt exec工具，完整路径：/path/to/ Tensor RT -7.0.0.11/bin/t rt exec。这个工具可以直接 生成 引擎 ，不需要写代码，终端命令： # -- onnx : onnx 模型路径；--save Engine : 将要保存 engine 的路径；--v 原因：springboot在进行 序列化 和反序列时对字段进行了处理。 解决方法：在字段中加上注解@JsonPrope rt y，返回结果集就正常了，如下： @JsonPrope rt y("dIp") private String dIp;