我们的一个业务是在Intel CPU的电脑上，进行深度学习模型算法的开发。模型有用到OpenCV，Pytorch，还有QT界面，大多数使用的是图像处理和CNN特征提取和分类的功能，处理的是摄像头输入视频，图片这两类数据。考虑到要求实时处理，我们设计的各个功能模块，能够20fps运行和显示，以及在minutes时间内，输出后处理分析的结果，就能达到预定效果。随后采用docker，部署整个环境到ARM CPU的服务器上。

问题出现在这里：

• 使用Intel CPU在本地开发，模型速度在纯CPU上，能够达到20fps，50-100ms处理完一个图像；
• 而部署到ARM CPU的服务器上，模型速度1fps，也就是说1000ms左右，加上后处理，20s处理一次数据。而且加载深度学习模型，需要耗时几十分钟，整体性能下降100x。

本文就针对深度学习模型的不同CPU架构下，如何高效部署，以及部署的注意事项，和性能差的关键因素，进行分析。提升大家对不同架构部署的性能考虑和定量认识。 大家在ARM ARM64架构，ARM v8指令集，intel core cpu，xeon cpu，包括ARM aarch64的M1芯片计算部署，都会遇到类似问题。可以查看下面的分析，对关键点进行处理。

我们在开发阶段，采用的intel的CPU，core-i7-10875H @GHz 2.30GHz。8核16线程，内存16G，采用NVIDIA-GTX2060GPU。下图是我们采用的Intel CPU，我们在这个电脑上部署测试了性能。Intel CPU有OpenMP+MKL-DNN这些深度学习加速库，速度相对没有指令集优化的有很大提升。

基频2.3GHz，睿频5.1GHz。由于intel x86架构的CPU，单核能够超频处理，所以在测试的时候，其单核性能也许会跑到5GHz的处理速度。当我们的运算代码，测试代码，没有做多线程优化的时候，跑出来的结果，很有可能是单核计算的（大多数Intel CPU服务器，能跑最大性能，给CPU尽量跑满）。因此，intel CPU跑出的性能比ARM 架构服务器CPU跑出的性能，快差不多2倍。ARM CPU总是跑不满。

我们在开发过程中，实际测试的每一个功能，协同CPU和GPU，都能达到需要的速度。也就是20fps处理基本的图像，后处理加分析，也能在几百个ms给出结果。因此，决定部署到服务器上，进行测试。
下面是我们的开发阶段的统计图。每一个功能都有性能记录。

我们也统计了CPU和GPU的性能占用率等信息。不同功能消耗的CPU和内存的利用率统计如下。目前的开发平台配置是8核16线程。内存16G，GTX2060 GPU。

Intel的Core 酷睿CPU，单核性能，比服务器端Xeon或者飞腾ARM CPU所采用的ARM架构core的性能要强。而从总体性能上看，飞腾的ARM CPU 和intel的i7 CPU，性能差不多。不可能造成实际部署后， 单张人脸检测和单个表情识别性能上，intel CPU比ARM CPU快20倍；微表情处理速度上，ARM服务器端就慢更多，速度差30倍。

因此，我们可以分析，大概是以下几块出的问题：

1. 架构上的差别。 Intel的CPU是x86架构，飞腾CPU是ARM架构，且ARM的指令集比较老，性能较弱。导致了算力相当的CPU核心，在实际计算过程中，差距明显。且intel下是Windows系统，指令集丰富，指令集优化和高效的kernel更多。相比而言，ARM下的指令集，本身较弱，且服务器采用的麒麟操作系统，是麒麟基于Linux开发的一套国产系统。因此，在算术逻辑上的优化，高效计算kernel的设计方面，指令集上的差别。纯ARM端没有做推理优化。而英伟达的Jetson NX2平台，能够做到100fps，是对他的ARM做了优化，且结合tensorRT做了GPU下的推理优化，整体性能当然有质的提升。

   （补充一句：NVIDIA的Jetson低功耗计算卡，也是ARM CPU加自家的GPU，之所以很快，是英伟达专门对pytorch，TensorFlow等这些库，进行了重新编译和优化，针对他们的Jetson平台，利用TensorRT，在ARM端做了优化，加上结合Jetson 的GPU，速度能够达到50fps等。
   TensorRT是一个高性能的深度学习推理（Inference）优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。
   TensorRT 是一个C++库，从 TensorRT 3 开始提供C++ API和Python API，主要用来针对 NVIDIA GPU进行 高性能推理（Inference）加速。现在最新版TensorRT是4.0版本。）

2. 代码优化。 服务器天然拥有更多的核心，多核并行处理，多线程下，更占优势。因此，重构我们的代码，在计算流程上，更加流水线，任务多并行。使用多个线程，处理不同的业务。解耦上一个模块和下一个计算单元的耦合。将代码多线程化，从人脸检测，关键点检测，表情分类，微表情分类，都做成不同的线程和任务。且中间变量的优化处理，尤其重要。关键点检测，依赖人脸检测的结果。后面的表情分类和微表情分析，都依赖先前检测到的人脸，因此，没必要每个阶段都重新进行，人脸检测。中间变量缓存，防止重计算。
   虽然人脸检测，表情分类和微表情分析，是多个业务，但是也避免需要特征（数据）的重复计算。计算一次，多个业务共用。这里就扯出来第三个问题。

3. 中间数据存放数据库或内存中，禁止写到磁盘。 在数据的存储，变量的转移中，从内存摘取到磁盘，SSD，硬盘等，是最慢的部分，需要避免中间数据的磁盘写入。因为人脸检测的结果，需要在表情分类，微表情分析中用到截取的人脸。我们的代码，在实现过程中，为了防止内存爆炸，且开发的CPU内存是16G，视频序列一长，就会内存爆炸。因此，我们是将内存的人脸，写入到磁盘，在后面需要人脸的相关信息时候，再读取。

   有两个解决方案， 1）中间数据存数据库 ，害怕内存放不下，但是读写入磁盘，非常慢，这时，用数据库来保存中间变量，我们是非结构的无序数据，可以用MongoDB，数据量再大，可以上Hadoop。这个数据库类型是方便快速访问大量数据。这种数据库有自己的一套机制，来存储和索引相应的数据。而且，数据如何保存，存储，容量大了如何操作管理，有自己的一套机制的。因此不用担心内存不足和访存读写慢。（估计有自己的一套读写方案，来避免直接存储jpg图像到磁盘。我们采用的就是存储为jpg图像）

   2） 加大内存 ，内存是DDR4，速度还是比单独写入并读取到磁盘上，快很多。为了避免摘取到磁盘，我们增大内存，16G变为64G或者128G甚至是1T的DDR4。这样就不用担心，存不下中间变量了。这样在后续表情分类，微表情分析上，速度快很多。这样需要考虑，我们的部署应用场景，是长时间一直运行，还是有一个上限，例如，3-5小时，30FPS的图像采集速度。那么大概计算，32G的内存，能够存下3、5小时所产生的的中间变量。

4. 指令集/架构优化。 在编译过程中，指定编译平台，架构，指令集，或者可以platform-oriented编译。能够使得编译中，尽量靠近目标架构，CPU的特性。面向CPU及其指令集的优化编译，生成的binary文件，比通用指令编译出来的算法，性能要高，计算过程中，由于是定制化的模型和计算架构，因此效率更高。

除此之外，我们还分析了，也有可能，是pytorch，TensorFlow，未对ARM cortex架构，做优化。最底层的计算图，计算单元，在Intel CPU下，全面优化，计算更快，使用了MKL-DNN，OpenMP等深度学习加速推理库，速度相对没有指令集优化的ARM CPU有很大提升。而针对ARM 的CPU，则没有特殊的指令集优化，导致了相同的计算过程，本身ARM 就要慢上几倍。所以库文件，依赖库，也是有关系的。

我们在不同的CPU，不同的服务器上，测试了LSTM和ResNet单独计算的时间。时间也是长短不一。初步怀疑，是pytorch的版本或者指令集优化问题，导致了，相同的代码，有的算得快，有的算的慢。

1. i5-10400 CPU@2.90GHz。 12 CPU
2. XEON -E5 2690 CPU v4@2.6GHz。32 CPU
3. i7-9700 CPU@3.6GHz。 8 CPU
4. XEON -E5 2680 CPU v4@2.4GHz。56 CPU
5. mac m1芯片

下面给出每一台服务器和电脑的CPU配置和跑测试代码的时间记录。

1. i5-10400

2. XEON -E5 2690

3. i7-9700

4. XEON -E5 2680

ps：注意事项！！ 测试性能的时候，一定要保证，设置的线程数，小于空闲的线程数，而不是强制设置为最大线程数，一旦有其他进程，占用着一些CPU资源。此时强制设置多于可用空闲CPU的线程数时，速度降低非常大，耗时严重。因为程序将严格分配到多个CPU核上，而此时有一些核被占用，需要强制的将这个新的线程去一起抢占。导致速度降低。解释：In our case, we do not use hyper-threading since one thread has fully utilized its physical core resource and adding one more thread to the same physical core will normally decrease the performance due to the additional context switch. （ps：在Windows下面，CPU是看总体利用率的，是12个核都在跑。设置线程越多，分配的计算量越多。）

飞腾的ARM服务器有一个小问题，设置的核心数，都跑不满。2核 170%， 4核 250%，8核 510%。

结论与测试现象分析：：ARM架构问题，导致了密集型计算非常慢。由于我们测试的是ResNet18，并行计算密集型。ARM架构下，pytorch对于ARM的优化不友好，没有做指令集优化，单核性能差距，没有对深度学习库做指令集优化，底层数学库，MKl，MKL-DNN，OpenMP等，综合导致了在看似性能不错的ARM CPU上（2.4GHz， 64核），跑出的速度，非常慢。

还有一个问题需要注意，查看你配置的docker，配置和部署，是否出问题。如果你的docker是网上下载的别人已经构建好的，只做移植，没有做面向目标架构的优化。特别是编译构建pytorch，OpenCV这些库文件中，在编译过程中，包括目标平台设置，指令集设置，优化参数设置。现有的docker，没有实际在ARM架构上，定制化编译的性能好。这个从docker模拟器中，docker内部测试，外部测试结果可以看出。因此，要保证你部署的docker也是正确的。我已经验证了我们做的docker 是正确的。

• 结论：有无mkl-DNN，影响是一部分，大于1.5-4倍的速度差距。 下面是对MKL-DNN对模型加速的影响测试数据。

1. 下面是我对mkl-dnn，有无这个模块的计算分析。在robo intel core CPU这台服务器上，有两个环境，一个是有OpenMP+mkl-dnn的，一个是只有OpenMP的环境。
   
   这个是有mkl-dnn 的pytorch环境。有mkl环境的pytorch，开启mkl 5.65s，未开启mkl 6.35。

2. 下面这个是没有mkl-dnn，只有OpenMP的环境配置。没有mkl下，跑出成绩为9.63s。
   

3. 下面是另外一个intel xeon CPU服务器的配置。在eval模式下，开了mkl-dnn比没有开mkl的，时间要少1s。速度快1s。3.27s mkldnn设置， 4.10s 未设置mkldnn。 占cpu 2800%。
   

4. 下面是intel core i7 CPU服务器的配置。在eval模式下，开了mkl-dnn时间为7.25s左右，没有开mkl-dnn设置的，为9.42s。 速度快了2s。
   

5. 下面是我们，真正部署的服务器，麒麟系统，飞腾芯片这款ARM CPU。
   

如图所示，没有mkl，没有mkl-dnn。总的影响是：单核cpu算力倍率 x 没有mkl-dnn倍率 x ARM pytorch计算性能差距与intel差别：

性能差距 = 服务器CPU与intel cpu单核性能差距（单核20.4/10.05=2~2.5） x （开启mkl/未开mkl =4.1/3.27=1.1~1.2 ）x（有无mkl-dnn =9.63/6.35=1.5 ） x（ARM 架构下依赖库计算的性能差 46.8/11.45s =4 ~7 ） = 13.2~31.5倍。 因此，我们做实验统计的速度差的比值倍数，是合理的。

所以，综上所述：有没有OpenMP支持，速度影响一部分。在1-2s内的影响。所采用的pytorch版本是否支持mkl-dnn，影响一部分。在mac ARM m1芯片下，开启mkl-dnn，速度比没有开启快4s。44s 与 48s的差别。M1 的ARM平台只有mkl-dnn，没有OpenMP指令集，no avx指令集，速度也比较慢。我们的Intel CPU平台，都是支持mkl-dnn。单纯没有mkl-dnn，速度差距不是太明显，只是一部分。

速度差距这么大，是多方面因素造成的。包括了本身CPU性能，深度学习库的底层加速指令集是否支持和优化，综合造成的。

我们设置了几个小的计算代码，包括计算log+cos的函数，和计算是否是素数的函数。for 循环 20000000次。测试的表格如下：其中，intel core cpu性能强于xeon服务器CPU。因为单核性能，core CPU强于xeon CPU，能超频。

飞腾ARM芯片，在单核计算性能上，就比intel CPU慢2+倍。然后加上上面所提到的：pytorch在ARM 上，优化不是很好。

再次验证了我们的速度差距的公式，也就是速度分解因子：

性能差距= 服务器CPU与intel cpu单核性能差距（单核20.4/10.05=2~2.5） * （开启mkl/未开mkl =4.1/3.27=1.1~1.2 ）*（有无mkl-dnn =9.63/6.35=1.5 ） * （ARM 架构下依赖库计算的性能差 46.8/11.45s =4 ~7 ） = 13.2~31.5倍。

我们上述的实验分析，也从多个论文和官方文件给出的性能评测，找到了对应的支撑点。证明了我们所提出的原因，是正确的，和实际存在的。造成相同深度学习模型，在ARM CPU 和intel CPU 上部署，差距十几二十倍的效率，是多方面造成的。需要对症下药。

由于在测试过程中，有CPU是被root下的未知进程给占用的。例如我们的一台2080Ti的服务器，root下有一个未知的进程，总是占用600%的CPU。我们一共才8核，未知进程就占用6核。此时，各种测试速度，都不正确，时间异常的久。为了准确测试，我们采用cpulimit命令，来限制某个进程号pid的资源占用。

apt-get install cpulimit

cpulimit -p pid -l 20 (pid是进程号， -l 20是限制在20%。要根据核心cpu数来算。 有些情况20%是要分摊的。)

hostnamectl 查看Linux版本号

lscpu 查看cpu型号