作者： hjimce

一、相关理论

本篇博文主要讲解2015年一篇paper《Age and Gender Classification using Convolutional Neural Networks》，个人感觉这篇文献没啥难度，只要懂得Alexnet，实现这篇文献的算法，会比较容易。其实读完这篇paper之后，我一直在想paper的创新点在哪里？因为我实在没有看出paper的创新点在哪里，估计是自己水平太lower了，看文献没有抓到文献的创新点。难道是因为利用CNN做年龄和性别分类的paper很少吗？网上搜索了一下，性别预测，以前很多都是用SVM算法，用CNN搞性别分类就只搜索到这一篇文章。 个人感觉利用CNN进行图片分类已经不是什么新鲜事了，年龄、和性别预测，随便搞个CNN网络，然后开始训练跑起来，也可以获得不错的精度。

性别分类自然而然是二分类问题，然而对于年龄怎么搞？年龄预测是回归问题吗？paper采用的方法是把年龄划分为多个年龄段，每个年龄段相当于一个类别，这样性别也就多分类问题了。所以我们不要觉得现在的一些APP，功能好像很牛逼，什么性别、年龄、衣服类型、是否佩戴眼镜等识别问题，其实这种识别对于CNN来说，基本上是松松搞定的事，当然你如果要达到非常高的识别精度，是另外一回事了，就需要各种调参了。

言归正传，下面开始讲解 2015年paper《Age and Gender Classification using Convolutional Neural Networks》的网络结构，这篇文章没有什么新算法，只有调参，改变网络层数、卷积核大小等……所以如果已经对Alexnet比较熟悉的，可能会觉得看起来没啥意思，这篇papar的相关源码和训练数据，文献作者有给我们提供，可以到Caffe zoo model： https://github.com/BVLC/caffe/wiki/Model-Zoo 或者文献的主页： http://www.openu.ac.il/home/hassner/projects/cnn_agegender/ 。下载相关训练好的模型，paper性别、年龄预测的应用场景比较复杂，都是一些非常糟糕的图片，比较模糊的图片等，所以如果我们想要直接利用paper训练好的模型，用到我们自己的项目上，可能精度会比较低，后面我将会具体讲一下利用paper的模型进行fine-tuning，以适应我们的应用，提高我们自己项目的识别精度。

二、算法实现

因为paper的主页，有提供网络结构的源码，我将结合网络结构文件进行讲解。

1、 网络结构

Paper 所用的网络包含： 3 个卷积层，还有 2 个全连接层。这个算是层数比较少的 CNN 网络模型了，这样可以避免过拟合。对于年龄的识别， paper 仅仅有 8 个年龄段，相当于 8 分类模型；然后对于性别识别自然而然是二分类问题了。

然后图像处理直接采用 3 通道彩色图像进行处理，图片 6 都统一缩放到 256*256 ，然后再进行裁剪，为 227*227（训练过程随机裁剪，验证测试过程通过矩形的四个角+中心裁剪） ，也就是说网络的输入时 227*227 的 3 通道彩色图像，总之基本上跟Alexnet一样。

网络模型：

(1)第一层： 采用 96 个卷积核，每个卷积核参数个数为 3*7*7 ，这个就相当于 3 个 7*7 大小的卷积核在每个通道进行卷积。激活函数采用 ReLU ，池化采用最大重叠池化，池化的 size 选择 3*3 ， strides 选择 2 。然 后接着再来一个局部响应归一化层。 什么叫局部响应归一化，自己可以查看一下文献：《ImageNet Classification with Deep Convolutional Neural Networks》，局部响应归一化可以提高网络的泛化能力。

局部响应归一化，这个分成两种情况，一种是3D的归一化，也就是特征图之间对应像素点的一个归一化。还有一种是2D归一化，就是对特征图的每个像素的局部做归一化。局部响应归一化其实这个可有可无，精度提高不了多少，如果你还不懂上面那个公式也没有关系。我们可以利用最新的算法：Batch Normalize ，这个才牛逼呢，2015年，我觉得最牛逼的算法之一，不仅提高了训练速度，连精度也提高了。 过程：通过 7*7 大小的卷积核，对 227*227 图片卷积，然后特征图的个数为 96 个，每个特征图都是三通道的彩色图的加权组合 , 这个作者没有讲到卷积层的 stride 大小，不过我们大体可以推测出来，因为 paper 的网络结构是模仿： ImageNet Classification with Deep Convolutional Neural Networks 的网络结构的，连输入图片的大小也是一样的，这篇文献的第一层如下所示：

我们可以推测出， paper 选择的卷积步长为 4 ，这样经过卷积后，然后 pad 为 2 ，这样经过卷积后图片的大小为： (227-7)/4+1=56 。然后经过 3*3 ，且步长为 2 的大小，进行重叠池化，可以得到： 56/2=28*28 大小的图片，具体边界需要补齐。下面是原文的第一层结构示意图：

layers {
  name: "conv1"
  type: CONVOLUTION
  bottom: "data"
  top: "conv1"
  blobs_lr: 1
  blobs_lr: 2
  weight_decay: 1
  weight_decay: 0
  convolution_param {
    num_output: 96
    kernel_size: 7
    stride: 4
    weight_filler {
      type: "gaussian"
      std: 0.01
    bias_filler {
      type: "constant"
      value: 0
layers {
  name: "relu1"
  type: RELU
  bottom: "conv1"
  top: "conv1"
layers {
  name: "pool1"
  type: POOLING
  bottom: "conv1"
  top: "pool1"
  pooling_param {
    pool: MAX
    kernel_size: 3
    stride: 2
layers {
  name: "norm1"
  type: LRN
  bottom: "pool1"
  top: "norm1"
  lrn_param {
    local_size: 5
    alpha: 0.0001
    beta: 0.75
2、网络训练
 
(1)初始化参数：权重初始化方法采用标准差为0.01，均值为0的高斯正太分布。
 
(2)网络训练：采用dropout，来限制过拟合。Drop out比例采用0.5，还有就是数据扩充，数据扩充石通过输入256*256的图片，然后进行随机裁剪，裁剪为227*227的图片，当然裁剪要以face中心为基础，进行裁剪。
 
(3)训练方法采用，随机梯度下降法，min-batch 大小选择50，学习率大小0.001，然后当迭代到10000次以后，把学习率调为0.0001。
 
(4)结果预测：预测方法采用输入一张256*256的图片，然后进行裁剪5张图片为227*227大小，其中四张图片的裁剪方法分别采用以256*256的图片的4个角为基点点，进行裁剪。然后最后一张，以人脸的中心为基点进行裁剪。然后对这5张图片进行预测，最后对预测结果进行平均。
 
三、实际应用
 
　　文献作者给我们提供，可以到Caffe zoo model：https://github.com/BVLC/caffe/wiki/Model-Zoo  或者文献的主页：http://www.openu.ac.il/home/hassner/projects/cnn_agegender/。下载相关训练好的模型，paper性别、年龄预测的应用场景比较复杂，都是一些非常糟糕的图片，比较模糊的图片等，所以如果我们想要直接利用paper训练好的模型，用到我们自己的项目上，可能精度会比较低。我测试了一下，直接使用paper给的模型，在我的数据上进行测试，我的数据是中国人、，然后也比较清晰，直接用作者训练好的模型，精度为0.82左右，这个精度对于我们实际的工程应用还差很远。后面就要发挥自己的调参、技巧把精度提高上去，才能达到95%以上的精度，具体因为项目保密，所以不再啰嗦。最后预测结果如下：
 
测试精度：
 
总结：看完这篇文献，感觉没看到什么比较牛逼的创新点，只是把Alexnet网络改一改而已，个人感觉AlexNet的一些算法已经过时了，现在各种最新牛逼文献的算法一大堆，随便找一个，调一调参，应该可以得到更高的精度，因为毕竟图片分类的算法更新太快了。年龄预测方面，因为自己的项目用不到，而且年龄预测这个东西，精度一向很低，很容易受光照、拍摄角度等因素影响，即便是我们人类，也很难精确判断一个人的年龄，有的人五十几岁了，但是看起来却很年轻……
 
PS：赶紧研究深度学习算法去，现在大部分深度学习的文章，有的文献只是稍微改一下参数、改一下结构，然后发现精度state-of-art，于是发表paper，很容易就被录用了。
 
参考文献：
 
1、《Age and Gender Classification using Convolutional Neural Networks》
 
2、《ImageNet Classification with Deep Convolutional Neural Networks》
 
3、http://www.openu.ac.il/home/hassner/projects/cnn_agegender/
 
４、https://github.com/BVLC/caffe/wiki/Model-Zoo 
 
**********************作者：hjimce   时间：2015.10.15  联系QQ：1393852684  原创文章，转载请保留原文地址、作者等信息***************

                    本篇博文主要讲解2015年CVPR上的一篇paper《Age and Gender Classification using Convolutional Neural Networks》，个人感觉这篇文献没啥难度，只要懂得Alexnet，实现这篇文献的算法，会比较容易。其实读完这篇paper之后，我一直在想paper的创新点在哪里？因为我实在没有看出paper的创新点在哪里，估计是自己水平太lower了，看文献没有抓到文献的创新点。难道是因为利用CNN做年龄和性别分类的paper很少吗？网上搜索了一下，性别
				
资源包含文件：lunwen文档+任务书+开题报告+文献综述+外文翻译+软件使用说明书+源码及数据集
流程分为两个部分，一是文本检测，二是文本识别。
文字检测的主要功能为：从图像中找到文字区域，并将文字区域从原始图像中分离出来。
文字识别的主要功能为：从分离出来的图像上，进行文字识别。
文字识别流程：
1）预处理：去噪（滤波算法）、图像增强、缩放，其目的是去除背景或者噪点，突出文字部分，并缩放图片为适于处理的大小
2）特征抽取：常用特征：边缘特征、笔画特征、结构特征、纹理特征。
3）识别：分类器，随机森林 、SVM、NN、CNN等神经网络。
本次设计的环境如下
操作系统 ubantu 16.04
Tensorflow tensorflow1.3.0-gpu
Python python2.7
CPU Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz
GPU TITAN X (Pascal)
详细介绍参考：https://biyezuopin.blog.csdn.net/article/details/125342848




    

				
自2012年深度学习火起来后，AlexNet，vgg16，vgg19，gooGleNet，caffeNet，faster RCNN等，各种模型层出不群，颇有文艺复兴时的形态。
在各种顶会论文中，对年龄和性别的检测的论文还是比较少的。而本文将要讲解的是2015年的一篇cvpr，Age and Gender Classification using Convolutional Neural Netw...
				
从零开始使用CNN进行性别识别
我们使用CNN来预测30位说话者（15位男性和15位女性）中的性别，我们从头开始设计CNN，而无需使用任何tensorflow或keras库，并且在对模型从未听过的说话者性别进行分类时获得了93.47％的准确性。
 问题是学习如何处理音频数据并建立模型以对声音进行分类。
 我们做了很多研究，以了解如何解决该问题以及许多人如何解决该问题。
 在这种方法中，我们将音频片段转换为图片（梅尔频谱图），并使用这些图片来训练卷积神经网络模型（CNN）。
				
我们将讨论应用于面部的深度学习的有趣应用。我们将估计年龄并从单个图像中找出该人的性别。该模型由Gil Levi和Tal Hassner训练。我们将简要讨论论文的主要思想，并提供有关如何在OpenCV中使用该模型的分步说明。
1.使用CNN的性别和年龄分类
作者使用了一种非常简单的卷积神经网络架构，类似于CaffeNet和AlexNet。该网络使用3个卷积层，2个完全连接的层和最终的输出层。层的...
				
基于CNN的调制识别，keras框架，tensorflow后端，数据集为github通用数据集。
We survey the latest advances in machine learning
with deep neural networks by applying them to the task of
radio modulation recognition. Results show that radio modulation recognition is not limited by network depth and further
work should focus on improving learned synchronization and
equalization. Advances in these areas will likely come from novel
architectures designed for these tasks or through novel training
methods.
				
来自于2015年CVPR的一篇paper《Age and Gender Classification using Convolutional Neural Networks》。
Paper所用的网络包含：3个卷积层，还有2个全连接层。这个算是层数比较少的CNN网络模型了，这样可以避免过拟合。对于年龄的识别，paper仅仅有8个年龄段，相当于8分类模型，对于性别识别自然而然是二分类问题了。
首先...
最近一段时间，大论文完稿了，可以搞搞自己之前想做但没有时间做的——机器视觉（神经网络）。So 开始看代码学习人脸识别方面的事。
这是一篇通过人脸图像预测图像中人的性别及年龄的文章。
好了！！！！ 鲜花不聊，上干货。。。。...
机器学习基于CNN手写数字识别是一项实验性研究，该技术可以通过训练算法和图像数据集，自动识别和分类手写数字。下面我将用300字向您介绍相关实验过程。
实验的第一步是准备数据集，可以使用MNIST数据集，该数据集包含大量手写数字图像样本。然后，我们将数据集分为训练集和测试集，用于训练和评估模型性能。
接下来，我们使用CNN模型进行手写数字识别的训练。CNN（卷积神经网络）是一种常用的深度学习模型，特别适用于图像识别。该模型可以自动提取图像中的特征，并进行分类。我们通过不断调整模型的结构和参数，让其能够更好地适应手写数字识别任务。
训练过程中，我们将训练集的图像输入到CNN模型中，模型通过反向传播算法不断调整权重和偏置，以最小化预测结果与实际标签之间的误差。随着训练的进行，模型逐渐优化，使其在测试集上的准确度得到提升。
完成训练后，我们将使用测试集对模型进行评估。通过与实际标签对比，可以计算出模型的准确率、精确度、召回率等性能指标，从而评估模型的表现。
最后，我们可以使用训练好的模型进行手写数字识别。将手写数字图像输入到模型中，模型将自动输出识别结果。
这项实验的目的是将机器学习和CNN技术应用于手写数字识别，提高识别的准确度和速度。它在人工智能、图像处理等领域具有广泛的应用前景，可以为我们提供更多便利和智能化的服务。  
### 回答2：
机器学习是一种可以让计算机通过学习和训练数据来完成特定任务的方法。而基于CNN（卷积神经网络）的手写数字识别实验即利用机器学习的方法来实现对手写数字的自动识别。
首先，我们需要准备一个包含大量手写数字的数据集，这些数据集中既包含手写数字图片，也包含对应的标签。在该实验中，我们需要将每个手写数字图片与其对应的数字标签建立联系。
接下来，我们可以利用CNN模型来训练和优化识别手写数字的算法。CNN是一种专门应用于图像处理和识别的深度学习模型。通过分析手写数字图片中不同的特征和模式，CNN可以学习到一种有效的表示手写数字的方式。
在训练过程中，我们将数据集划分为训练集和验证集，用于训练和评估模型的性能。通过迭代训练，自动调整模型的参数和权重，使其逐渐提高识别手写数字的准确率。
完成训练后，我们可以用测试集来评估模型的性能。测试集是一个模型从未见过的数据集，用于模拟实际应用场景。通过与标签比较，我们可以计算出模型在测试集上的准确率，来评判其对手写数字识别的能力。
最后，我们可以使用训练好的CNN模型来进行实际的手写数字识别。输入一张手写数字图片，经过模型的处理和分析，输出对应的数字。
综上所述，基于CNN的手写数字识别实验利用机器学习的方法训练和优化模型，以实现自动识别手写数字的功能。该实验将深度学习和图像处理的技术应用于手写数字识别，具有较高的准确率和广泛的应用前景。  
### 回答3：
机器学习是一种能够通过训练模型来让计算机对数据进行自动学习的技术。基于卷积神经网络（Convolutional Neural Network，CNN）的手写数字识别是机器学习的一项实验。
首先，为了进行手写数字识别实验，我们需要准备一个手写数字的数据集。这个数据集包含了许多手写数字的图片，每张图片都有对应的标签，表示图片所代表的数字。
接着，我们将利用CNN来构建一个模型。CNN是一种深度学习架构，它能够提取图像的特征并用于分类任务。CNN通常由多个卷积层、池化层和全连接层组成。在手写数字识别实验中，我们可以设计一个具有几个卷积层和全连接层的CNN模型。
然后，我们需要将数据集分为训练集和测试集。训练集用于训练模型，测试集用于评估模型的性能。在训练过程中，模型会根据训练集的数据不断调整自身的参数，以使其能够更好地对手写数字进行识别。训练的过程中需要定义损失函数和优化器来指导模型的参数更新。
训练完成后，我们将使用测试集来评估模型的性能。评估指标可以是准确率，即模型正确预测的手写数字的比例。较高的准确率表示模型对手写数字的识别能力较强。
此外，为了提高模型的性能，我们还可以采取一些策略，如数据增强、超参数调节等。数据增强可以通过对训练集进行旋转、平移、缩放等操作，生成更多的训练样本，以增加模型的泛化能力。超参数调节可以通过调整模型的学习率、批大小等参数，以找到更好的模型配置。
通过这样的实验，我们可以验证基于CNN的手写数字识别模型的效果，并探索机器学习在图像识别任务中的应用潜力。