L0范数是指向量中非零元素的个数。如果用L0规则化一个参数矩阵W，就是希望W中大部分元素是零，实现稀疏。
L1范数是指向量中各个元素的绝对值之和，也叫”系数规则算子（Lasso regularization）"。L1范数也可以实现稀疏，通过将无用特征对应的参数W置为零实现。
L0和L1都可以实现稀疏化，不过一般选用L1而不用L0，原因包括：
1）L0范数很难优化求解（NP难）；
2）L1是L0的最优凸近似，比L0更容易优化求解（这一段解释过于数学化，姑且当做结论记住）。
L1正则化 L1范数是指向量中各个元素的绝对值之和。对于人脸任务 原版的人脸像素是 64*64，显然偏低，但要提高人脸清晰度，并不能仅靠提高图片的分辨率，还应该在训练方法和损失函数上下功夫。众所周知，简单的 L1Loss 是有数学上的均值性的，会导致模糊。L2正则化 L2正则化就是权重衰减，是一个手段，是指： L2正则项(regularization term) * 正则化...
@tf.keras.utils.register_keras_serializable(package="Similarity")
class EuclideanDistance(Distance):
"""Compute pairwise euclidean distances between embeddings.
Ln
标准化=每个元素
Ln
范数
Ln
标准化=\frac{每个元素}{
Ln
范数
}
Ln
标准化=
Ln
范数
每个元素
对于p-
范数
，如果
x=[x1,x2,……,xn]T[x_1, x_2,……,x_n]^T[x1,x2,……,xn]T
那向量x的p-
范数
为：
∣∣x∣∣p=(∣x1∣p+∣x2∣p+……+∣xn∣p)1p||x||_p = (
|x_1|^p+|x_2|^p+……+|x_n|^p)^\frac{1}{p}∣∣x∣∣p=(∣x1∣p+∣x2∣p+……+∣xn∣p)p1
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）学习速率（learning rate，η）运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速率η。下面讨论在训练时选取η的策略。
固定的学习速率。如果学习速率太小，则会使收敛过慢，如果学习速率太大，则
损失函数是用于衡量模型所作出的预测离真实值（Ground Truth）之间的偏离程度。通常，我们都会最小化目标函数，最常用的算法便是“梯度下降法”（Gradient Descent）。损失函数大致可分为两种：回归损失（针对连续型变量）和分类损失（针对离散型变量）。一、回归损失（Regression Loss）
L1 Loss（绝对值损失函数）
也称为Mean Absolute Error，即平均绝对误差（MAE），它衡量的是预测值与真实值之间距离的平均误差幅度，作用范围为0到正无穷。优点： 对离群点（Out
众所周知，CNN的有监督学习通常是建立在给定训练数据集之上的，数据集的标签(也称为GT)，决定了人类期望模型学习的样子。它通过损失函数、优化器等与CNN模型相连。因而机器所表现的出的一切有关识别、定位的能力，均是合理优化的结果。同样地，如何能够玩转目标检测？其实只需能够玩转最优化即可。
在最近两年内，出现了一些有关目标检测bounding box概率分布建模的文章，如Softer-NMS (CVPR 2019)，Gaussian YOLOv3 (ICCV 2019)，An Alternative Prob
微信公众号ID：MicrostrongAI
公众号介绍：Microstrong(小强)同学主要研究机器学习、
深度学习
、计算机视觉、智能对话系统相关内容，分享在学习过程中的读书笔记！期待您的关注，欢迎一起学习交流进步！
知乎专栏：https://zhuanlan.zhihu.com/Microstrong
Github：https://githu...
一文详解BN、
LN
、IN、GN四种
正则化
方式前言批量归一化-BN(Batch-N
orm
alization)mini-batch 梯度下降法批量归一化（Batch N
orm
alization）的基本动机与原理是什么？在卷积神经网络中如何使用？所以BN和mini-batch的联系和区别在哪儿？快手真题选择题考察参考文章
楼主前段时间真的是很巧，在面试阿里和大疆的图像算法时。在提及我对网络架构进行...
1 过拟合问题
过拟合是数据科学领域的一个重要问题，需要处理好过拟合问题才能建立一个健壮和准确的模型。当模型试图很好的拟合训练数据但导致无法泛化到测试数据时，就出现了过拟合。过拟合模型捕捉的更多的是训练数据找的呢细节和噪声，而不是模型的整体趋势。因此，即使特征的细微变化也会极大的改变模型的结果。这就导致过拟合模型在训练数据上表现的很出色，但在测试数据上表现不佳。
为了便于理解，我们模拟模型的训练过程，实际上模型训练的过程就是不断迭代直到找到一个方程y=f(x)y=f(x)y=f(x)来拟合数据集。但是怎么去
3、CIoU（Complete-IoU）
IoU 即 Intersection over Union 中文叫做交并比，用来衡量目标检测过程中 预测框 与 真实框 的重合程度。目前有很多计算 IoU 的方法，这里主要介绍 GIOU、DIOU、CIOU 这三种方式。
