在EfficientNet用 Swish激活函数展示出更好的性能后MobileNetV3将他升级到了H-Swish,进而减少了大量的指数运算。自那以后,许多轻量级网络也用了这个激活函数,我们也把我们基本网络中的RELU换成了H-Swish。性能提高了很多但预测时间基本没变。
在我们的模型,GAP后面的维度很小,直接在他后面添加分类层会损失很多特征信息,为了增强模型的鲁棒性,我们在两者之间添加了1280维、大小为1x1的卷积核(和FC[全连接层]等价)这使得模型鲁棒性更好但只有一点的预测时间提高。
一、PP-LCNet: 一个轻量级的卷积神经网络我们提出了一个基于MKLDNN加速策略的轻量级卷积神经网络,叫做PP-LCNet,他是一个能够用于多任务的轻量级模型。这篇论文提出了一些能在保持延迟不变的情况下提高模型准确率的方法。在这些优势的加持下,PP-LCNet与之前预测速度差不多的模型相比更加准确。对于计算机视觉的一些下流任务(指具体应用),比如目标检测、语义分割等,该模型效果也很好。我们的实验是基于PaddlePaddle实现的可以直接在飞桨查看相关的项目事例。二、模型提出的原因轻量级网络模型
本文提出了一种基于MKLDNN加速策略的
轻量级
CPU网络,称为
PP
-
LCNet
。它提高了
轻量级
模型在多个任务上的性能。本文列出了在延迟几乎恒定的情况下提高网络精度的技术。通过这些改进,
PP
-
LCNet
的精度在相同的推理时间,可以大大超过以前的网络结构。
由图1可以看出,
PP
-
LCNet
精度提升且比MobileNetV3快3倍!
现有问题:随着...
PP
-
LCNet
: A Lightweight CPU Convolutional Neural Network
???? PDF Link ???? Github Code
Section 1 介绍
随着模型参数和FLOPs的加大,模型越来越难以在基于ARM架构的移动端设备或者x86架构的CPU上取得较快的推理速度。虽然有许多优秀的移动端网络被设计出来,但是由于MKLDNN的限制,网络的推理加速效果并不理想。本文重新考虑了
轻量级
模型的构成,尤其是我们考虑了三个基础问题:
在不增加网络延时的前提下,如
文章目录前言基本概念感受野分辨率深度宽度下采样上采样参数量计算量卷积计算类型标准卷积深度卷积分组卷积空洞卷积转置卷积可变性卷积其他算子池化全连接计算Addition / ConcatenateChannel shuffle
卷积神经网络
架构设计,又指backbone设计,主要是根据具体任务的数据集特点以及相关的评价指标来确定
一个
网络结构的输入图像分辨率,深度,每一层宽度,拓扑结构等细节。目前人工智能技术应用的
一个
趋势是在端侧平台上部署高性能的神经网络模型并能在真实场景中实时(大于30帧)运行,如移动端
本文是转载文章,转载自从MobileNet看
轻量级
神经网络的发展,删除了文中冗余的部分,并加入许多自己的理解,通过引入具体的计算更清晰的反映出
轻量级
神经网络MobileNet的本质。
文章目录前言MobileNet的优势MobileNet各版本介绍MobileNetV1网络结构MobileNetV2网络结构MobileNetV3网络结构MobileNet各版本特性深度卷积(Depthwise convolution)逐点卷积(Pointwise Convolution)深度可分离卷积(Depthwise.