• 样本数量（基础样本多，生成的样本更具多样性，训练网络参数泛化能力更强）
• 样本质量（数据是否包含噪声，是否多样化，坐标是否准确，分类是否准确）

• 思考需要的样本总类
• 如何生成所需样本

尺寸：12×12，24×24，48×48

学习参数

每种尺寸下都做正样本（全人脸）、部分样本（部分人脸）、负样本（非人脸）正、负样本用来训练人脸置信度，正、部分样本训练人脸坐标位置

• 置信度（表示窗口滑动到当前位置时，检测到人脸的概率值）
• 坐标偏移值（用于回归真实坐标）

IOU

做置信度标签，根据置信度大小，分成三类样本
正样本：IOU>0.65；
部分样本：0.4<IOU<0.65
负样本：IOU<0.3
正、部分、负样本比例为1:1:3

# 正样本生成
if positive_num > 0:
   _side_len = side_len + side_len * random.uniform(-0.2, 0.2) + 1
   _cx = cx + cx * random.uniform(-0.2, 0.2) + 1
   _cy = cy + cy * random.uniform(-0.2, 0.2) + 1
# 部分样本生成
elif part_num > 0:
   _side_len = side_len + side_len * random.uniform(-1, 1) + 1
   _cx = cx + cx * random.uniform(-1, 1) + 1
   _cy = cy + cy * random.uniform(-1, 1) + 1
x_ = _cx - _side_len / 2
y_ = _cy - _side_len / 2
# 负样本生成
n_w = random.randint(int(min(img_w, img_h) * 0.35),
                    int(min(img_w, img_h) * 0.40))
n_x = random.randint(0, img_w - n_w)
n_y = random.randint(0, img_h - n_w)
new_box = [x_, y_, x_ + _side_len, y_ + _side_len]
ratio = utils.iou(new_box, np.array(boxes))[0]
n_new_box = [n_x, n_y, n_x + n_w, n_y + n_w]
n_ratio = utils.iou(n_new_box, np.array(boxes))[0]

生成的数据样本：

IOU(交并比)
第一种方法用于P、R网络，第二种方式用于O网络

NMS (非极大值抑制)
NMS算法用来对邻域中 IOU较大的框进行筛选，并得到最终的人脸检测框。

NMS的工作流程如下：

(1)将预测框按照检测效果评分由高至低排序，并设定一个阈值。

(2)从检测效果评分最高的预测框A开始，依次判断剩下的框与A的IOU是否超过阈值。如果超过，则丢弃，并将A框作为保留框。

(3)对剩下的框循环重复步骤（2）,产生新的保留框。

图像金字塔

图像金字塔来解决目标多尺度问题，即把原图按照一定的比例(如0.5)，多次等比缩放得到多尺度的图片，很像个金字塔

图像正方形转换
根据最大边进行扩充

坐标反算

坐标反算分为两部分：

1. 网络中由输出特征图反算回偏移框坐标

2. 偏移框根据偏移量反算回原图坐标

红色框相对于蓝色框偏移

• 准备训练的数据集(开源、收费、自制)
• 创建特征提取网络(ResNet、MobileNet)
• 设计合理的目标函数(CenterLoss、ArcFaceLoss)
• 训练网络使网络获得人脸特征提取能力

• 通过MTCNN网络获取当前图像中的人脸框
• 将获取的人脸框传入特征提取器提取人脸特征
• 将每个人脸标签和人脸作为一组特征值保存到人脸特征库

• 通过MTCNN获取画面中所有人脸框
• 将获取的所有人脸框传入特征提取器提取人脸特征

• 将从当前画面获取的每个人脸特征和人脸特征库里的人脸特征一一对比
• 如果当前画面中的某个人脸特征和人脸特征库里的人脸特征相似度最大值小于所设阈值，则认为当前画面中的这个人脸和人脸库中正在对比的人脸不是同一个人脸
• 如果当前画面中的人脸特征和人脸特征库中的人脸特征相似最大值大于所设阈值，则认为当前画面中的人脸和人脸库中对比的人脸是同一个人脸