最近用到距离度量学习了，于是乎思考了一下。
距离度量学习，最终学出的是M。监督的距离度量学习，最终根据类别标记，学习出一个好的M，来度量同一类样本之间的相似性。
这是一个类与相似性之间的直接对应关系。因为对于分类器来说，有的是以距离作为分类标准的，距离近的就认为属于同一类。但是有的并不是以距离作为分类标准，
比如SVM是以支持向量机形成的两个分界面作为标准的。距离近的未必是同一类。所以分类器和距离不是对等或者正比的关系。
所以度量学习，是学习出了类和相似性度量之间的直接对应关系。
而对于检索任务来说，给定一个Query，我们要做的是要在数据库中检索到和Query距离最近的样本。这是基于距离的，是基于相似性度量的。
所以对于检索任务，在训练的过程中也要以距离度量作为标准。
所以，度量学习和检索任务是可以相互关联的。
当然检索任务中，好的距离也不一定非得是通过距离度量学习到，也可能很明显用欧式距离就可以，也可能还会有其他方式来表示。
度量学习
原理与代码实战案例讲解
作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming
关键词：
度量学习
，深度学习，相似度度量，Siamese网络，Triplet损失函数
1. 背景介绍
目前，机器学习中的K近邻(KNN)
分类
算法和支持向量机(SVM)算法被认为是处理文本
分类
的最好方法。但KNN
分类
算法有以下的缺陷：
KNN是基于近邻度量的一种模式
分类
算法，它高度依赖于数据间的相似度度量，简单的欧式距离在实际应用时，由于不考虑不同维度之间对
分类
的影响以及输入数据数据维数高的问题，往往不能取得良好的
分类
效果。
KNN
分类
算法虽然可以一定情况下克服数据偏斜带来的
分类
误差，但是这也是造成它对样本密度分布敏感的主要原因，当类间密度高度分布不均时，
分类
效果会有较大的影响。
首先，我们把loss归为两类：一类是本篇讲述的基于softmax的，一类是基于pair对的（如对比损失、三元损失等）。
基于pair对的，参考我的另一篇博客：https://blog.csdn.net/u012863603/article/details/119246720
基于softmax的改进主要有如下（有的loss拥有不同的名字）：softmax、center loss、range loss、Modified softmax、NormFace、large m...
度量学习
（Metric Learning）是一种空间映射的方法，其能够学习到一种特征（Embedding）空间，在此空间中，所有的数据都被转换成一个特征向量，并且相似样本的特征向量之间距离小，不相似样本的特征向量之间距离大，从而对数据进行区分。
度量学习
应用在很多领域中，比如图像
检索
，人脸识别，目标跟踪等等。
那么什么是
度量学习
呢？
度量学习
(Metric Learning) 是人脸识别
度量函数 metric learning
摘自：《Multi-Attention Multi-Class Constraint for Fine-grained Image Recognition》
Apart from the techniques above, deep metric learning aims at the learning
of appropriate similarity...
内容概览前言一、基于
度量学习
的少样本
分类
1.算法描述2.缺点二、DCAP算法介绍1.算法流程2.密集
分类
3.注意力池化（Attentive Pooling）三、QPN算法介绍1.算法流程2.多尺度特征3.特定类特征生成总结
本博文要介绍的两篇论文是2021年3月底挂在arxiv上的新文章，它们都是对基于
度量学习
的少样本
分类
算法进行了改进，并且改进点都在构造更优的用于度量的图像特征和类特征上面。
两篇文章的算法其实都不难，并且均采用了注意力以及关注图像小区域的密集特征方法。在本博文中对它们提出的核心技
数据集:训练集(Training Set)、验证集(Validation Set)和测试集(Test Set)
1、 当模型无需人为设定超参数，所用参数都通过学习得到，则不需要验证集。验证集适合多个不同超参数训练多个模型，通过验证集，选择最好的模型及其相应的超参数。
2、监督学习(supervised learning ): 有导师学习,
分类
和回归
从给定的训练数据集中学习出一个函数(模型参数),当输入新数据时，可以根据这个函数预测结果。
分类
(classification):
原文链接：What is Metric Learning？
许多机器学习方法都需要度量计算数据点之间的距离。传统作法是利用相关领域的先验知识来选择一个标准的距离度量，例如：欧式距离、城市距离、余弦距离，等等。然而，很难针对特定的数据与感举兴趣的任务设计合适的度量。
距离
度量学习
（或者简单的称之为
度量学习
）旨在自动的从有监督的数据中，以机器学习的方式构造出与任务相关的距离度量。学习到的距离度量可以...
度量学习
举例：对于样本x1,x2.
度量学习
的目的就是学习D(x1,x2).其中D函数有一下特点：
这里的D函数输出结果可以看作是相似性的倒数，或者干脆叫做差异性。其中L就是我们要学习的参数，目前本人知道的D的模式就有
1.神经网络（训练两个神经网络结构S1,S2;其输入分别是两个样本x1,x2;最终的输出是维度一致的y1,y2;训练的损失就是||y1-y2||，一个欧式距离损失，也就是二次损失)，神经网络模式下，又分了两种情况：
知乎大神Flood Sung发表在CVPR2018上的paper，介绍了一种基于metric的模式识别方法，创新之处在于它不同于常用的matric-based方法，使用人为定义的度量，像简单的欧式距离、马氏距离，而是采用了用神经网络去训练这个度量，模型虽然简单，但是效果却很显著。
1、度量(Metric)
先说一下关于度量这个概念：在数学中，一个度量（或距离函数）是一个定义集合中元素之间距离的...
