一、PP-LCNet: 一个轻量级的卷积神经网络

我们提出了一个基于MKLDNN加速策略的轻量级卷积神经网络,叫做PP-LCNet,他是一个能够用于多任务的轻量级模型。这篇论文提出了一些能在保持延迟不变的情况下提高模型准确率的方法。在这些优势的加持下,PP-LCNet与之前预测速度差不多的模型相比更加准确。 对于计算机视觉的一些下流任务(指具体应用),比如目标检测、语义分割等,该模型效果也很好 。我们的实验是基于PaddlePaddle实现的可以直接在飞桨查看相关的项目事例。

二、模型提出的原因

轻量级网络模型,主要从三个方面来进行考虑:

  • 如何让模型在不提高延迟的情况下跟好的学习特征。

  • 什么组件可以提高轻量级的网络的准确率

  • 如何有效地集成那些为轻量级CPU网络设计的策略

三、模型整体结构

1、更好的激活函数的使用

一般而言,我们经常使用的激活函数不外乎为tanh relu sigmoid 还有bert中的gelu函数,这里我们使用了一种比较新颖的激活函数swich。
因为之前对于视觉不是很了解,这方面使用的激活函数也不是很熟悉,想对我而言还是比较新的函数了。
swish链接

在EfficientNet用 Swish激活函数展示出更好的性能后MobileNetV3将他升级到了H-Swish,进而减少了大量的指数运算。自那以后,许多轻量级网络也用了这个激活函数,我们也把我们基本网络中的RELU换成了H-Swish。性能提高了很多但预测时间基本没变。

h-swish的知识链接

2、SE模块

SE模块在他被提出后就被大量网络使用,他帮助SENet赢得了2017年的ImageNet图像分类大赛。他在调整网络的通道的权重以获取更好的特征信息方面很优秀,同时它的速度型版本也被一些网络,比如MobileNetV3使用。但是,在intelCPU上,他会提高预测时间,所以我们不能到处用,事实上我们做了很多实验,发现当SE模块放到最后的时候比较好。所以我们把他放到了我们网络的靠进末尾的地方,结果获得了很好的准确率和速度的平衡。和MobileNetV3一样,SE模块的两层激活函数分别是RELU,H-Sigmoid。

(SE模块放在网络最后部分效果比较好,在se层中使用的激活函数为relu和h-sigmoid)

3、更大的卷积核

卷积核的大小会影响到网络的性能,在MixNet中,作者分析了不同大小的卷积核对网络性能的影响,最后决定在**同一层的卷积中混合使用不同大小的卷积核。但是这样的混合使用会增加预测的时间,**所以我们决定在同一层卷积中用一种大小的卷积核,为了保证不会大量增加预测时间,我们也做了实验,发现在模型的最后将3x3卷积核换成5x5的效果比较好,所以我们只在模型的末尾作了这个替代。

4、GAP后更高维度的1x1卷积层

在我们的模型,GAP后面的维度很小,直接在他后面添加分类层会损失很多特征信息,为了增强模型的鲁棒性,我们在两者之间添加了1280维、大小为1x1的卷积核(和FC[全连接层]等价)这使得模型鲁棒性更好但只有一点的预测时间提高。

一、PP-LCNet: 一个轻量级的卷积神经网络我们提出了一个基于MKLDNN加速策略的轻量级卷积神经网络,叫做PP-LCNet,他是一个能够用于多任务的轻量级模型。这篇论文提出了一些能在保持延迟不变的情况下提高模型准确率的方法。在这些优势的加持下,PP-LCNet与之前预测速度差不多的模型相比更加准确。对于计算机视觉的一些下流任务(指具体应用),比如目标检测、语义分割等,该模型效果也很好。我们的实验是基于PaddlePaddle实现的可以直接在飞桨查看相关的项目事例。二、模型提出的原因轻量级网络模型 本文提出了一种基于MKLDNN加速策略的 轻量级 CPU网络,称为 PP - LCNet 。它提高了 轻量级 模型在多个任务上的性能。本文列出了在延迟几乎恒定的情况下提高网络精度的技术。通过这些改进, PP - LCNet 的精度在相同的推理时间,可以大大超过以前的网络结构。 由图1可以看出, PP - LCNet 精度提升且比MobileNetV3快3倍! 现有问题:随着...
PP - LCNet : A Lightweight CPU Convolutional Neural Network ???? PDF Link ???? Github Code Section 1 介绍 随着模型参数和FLOPs的加大,模型越来越难以在基于ARM架构的移动端设备或者x86架构的CPU上取得较快的推理速度。虽然有许多优秀的移动端网络被设计出来,但是由于MKLDNN的限制,网络的推理加速效果并不理想。本文重新考虑了 轻量级 模型的构成,尤其是我们考虑了三个基础问题: 在不增加网络延时的前提下,如
文章目录前言基本概念感受野分辨率深度宽度下采样上采样参数量计算量卷积计算类型标准卷积深度卷积分组卷积空洞卷积转置卷积可变性卷积其他算子池化全连接计算Addition / ConcatenateChannel shuffle 卷积神经网络 架构设计,又指backbone设计,主要是根据具体任务的数据集特点以及相关的评价指标来确定 一个 网络结构的输入图像分辨率,深度,每一层宽度,拓扑结构等细节。目前人工智能技术应用的 一个 趋势是在端侧平台上部署高性能的神经网络模型并能在真实场景中实时(大于30帧)运行,如移动端
本文是转载文章,转载自从MobileNet看 轻量级 神经网络的发展,删除了文中冗余的部分,并加入许多自己的理解,通过引入具体的计算更清晰的反映出 轻量级 神经网络MobileNet的本质。 文章目录前言MobileNet的优势MobileNet各版本介绍MobileNetV1网络结构MobileNetV2网络结构MobileNetV3网络结构MobileNet各版本特性深度卷积(Depthwise convolution)逐点卷积(Pointwise Convolution)深度可分离卷积(Depthwise.
InvalidArgumentError: No OpKernel was registered to support Op 'CudnnRNN' used by {{node cu_dnnlstm/ Siu讷讷: 怎么解决呀?没看明白 基于深度学习的命名实体识别研究综述——论文研读 原论文在知网直接找就有了 但是下载要钱 想要原文 可以私信我 发邮箱 基于深度学习的命名实体识别研究综述——论文研读 weixin_41247820: 原论文呢??? (论文研读)A Video Key Frame Extraction Method Based on Multiview Fusion-————一种基于多视图融合的关键帧抽取方法 WCHshark: 您好,请问这篇论文有源码吗? AttributeError: module ‘lib‘ has no attribute ‘X509_V_FLAG_CB_ISSUER_CHECK‘ xjw15212107045: 厉害,解决问题