Few-Shot Learning (FSL): 小样本学习简介及其应用_小样本学习的应用

1. 什么是小样本学习？

小样本学习(Few-shot learning, FSL)，在少数资料中也被称为low-shot learning(LSL)。小样本学习是一种训练数据集包含有限信息的机器学习问题。

对于机器学习应用来说，通常的做法是提供尽可能多的数据。这是因为在大多数机器学习应用中，输入更多的数据训练能使模型的预测效果更好。然而，小样本学习的目标是使用数量较少的训练集来构建准确的机器学习模型。由于输入数据的维度是一个决定资源消耗成本(如，时间成本，计算成本等)的因素，公司可以通过使用小样本学习来降低数据分析/机器学习消耗成本。

2. 小样本学习为什么重要？

类人的学习方式：人在看过少量例子后就可以认出手写字符之间的不同。然而，计算机需要大量的数据去“分类”它看到的东西，并识别出手写字符之间的不同。小样本学习是一种test base的方法，我们期望它能像人一样从少量的样本中学习。
稀有案例学习：小样本学习能用于稀有案例的学习。例如，当对动物图片进行分类时，用小样本学习训练的机器学习模型，在只得到少量的先验信息后，可以正确地对稀有物种的图像进行分类。
降低数据收集和计算成本：由于小样本学习仅需要少量的数据来训练模型，消除了数据收集和标记相关的高成本。训练数据量少意味着训练数据集的维数低，这可以显著降低计算成本。

3. 小样本学习(Few-shot Learning)和零样本学习(Zero-shot Learning)的区别

小样本学习的目的是在有少量训练数据的情况下能获得准确分类测试样本的模型。零样本学习的目的是预测训练数据集中没有出现过的类。零样本学习和小样本学习有很多共同的应用，例如：

图像分类(image classification)
语义分割(semantic segmentation)
图像生成(image generation)
目标检测(object detection)
自然语言处理(natural language processing)

还有一种叫单样本学习(one-shot learning)的，它经常会和零样本学习混在一起。单样本学习是小样本学习问题的一个特例，它的目的是从一个训练样本或图片中学习到有关物体类别的信息。单样本学习的一个例子是，智能手机中使用的人脸识别技术。

4. 小样本学习的方法

关于相似性的先验知识：机器学习模型在训练数据中学习模式(patterns)，这些模式倾向于分离不同的类，即使是没有见过的数据。传统机器学习模型不能分出没有在训练数据集中出现过的类。然而，对于小样本学习技术，它能使机器学习模型对没有在训练集中出现的类别进行分类。
- 二分类判别
1. 孪生网络(Siamese Networks) 。Python实现代码： https://github.com/tensorfreitas/Siamese-Networks-for-One-Shot-Learning
2. 三胞胎网络(Triplet Networks) 。Python实现代码： https://github.com/asparagus/triplet-net
- 多分类判别
1. 匹配网络(Matching Networks) 。Python实现代码： https://github.com/schatty/matching-networks-tf
2. 原形网络(Prototypical Network) 。Python实现代码： https://github.com/jakesnell/prototypical-networks
3. 关系网络(Relation Networks) 。Python实现代码： https://github.com/mesnico/RelationNetworks-CLEVR
关于学习的先验知识：机器学习模型利用先验知识约束学习算法，从少量的样本中选择泛化良好的参数。
- 在小样本学习中用于超参数调整的技术有：
1. MAML(Model-agnostic Meta-learning) 。Python实现代码： https://github.com/cbfinn/maml
2. FOMAML(First-order Model-agnostic Meta-learning) 。Python实现代码： https://github.com/samringer/FOMAML/blob/master/SineWave.ipynb
3. Reptile 。Python实现代码： https://github.com/openai/supervised-reptile
- 学习更新规则也可以使小数据集获得良好性能：
1. LSTMs 。Python实现代码： https://github.com/twitter/meta-learning-lstm
2. 强化学习(Reinforcement learning) 。Python实现代码： https://github.com/dennybritz/reinforcement-learning
3. Optimization rules 。Python实现代码： https://github.com/mogolola/neural_optimizer_search
- 序列方法使用整个数据集和测试示例，并预测测试样本标签的值：
1. Memory-augmented NN 。Python实现代码： https://github.com/hmishra2250/NTM-One-Shot-TF
2. SNAIL 。Python实现代码： https://github.com/sagelywizard/snail
关于数据的先验知识：机器学习模型利用了关于数据的结构和可变性的先验知识，这使得可以从很少的例子中构建可行的模型。
- 生成模型：
1. Pen-stroke models 。Python实现代码： https://github.com/brendenlake/omniglot
2. Neural statistician 。Python实现代码： https://github.com/conormdurkan/neural-statistician
- 合成新的训练集样本:
1. Analogies (Facebook AI Research)。Python实现代码： https://github.com/facebookresearch/low-shot-shrink-hallucinate
2. End-to-end 。Python实现代码： https://github.com/yjxiong/temporal-segment-networks

5. 小样本学习的应用

5.1 计算机视觉 ：计算机视觉探索如何从数字图像或视频中获得高级理解。小样本学习在计算机视觉中主要用于处理以下问题：

字符识别-Character recognition。NIPS 2016： Learning feed-forward one-shot learners
图像分类-Image classification。ICML 2017： Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
物体识别-Object recognition。 NIPS*
其他图像应用：
- 图像检索-image retrieval。 NIPS**
- 目标跟踪-object tracking。 NIPS***
- 图像中特定物体计数-specific object counting in images。 ECCV
- 场景位置识别-scene location recognition。 IEEE
- 手势识别-gesture recognition。 Oxford
- part labeling。 IEEE*
- 图像生成-image generation。 NIPS****
- 三维物体的形状视图重建-shape view reconstruction for 3D objects。 ICLR
- 图像描述-image captioning。 Association for Computing Machinery
视频应用：
- 视频分类-video classification。 ECCV*
- 动作预测-motion predicion。 ECCV**
- 行为检测-action localization。 IEEE**
- 行人再识别-person re-identification。 IEEE***
- 事件检测-event detection。 British Machine Vision Conference

5.2 自然语言处理 ：小样本学习使自然语言处理应用程序能够用很少的文本数据样本来完成任务。例如：

句法分析-parsing。 Association for Computational Linguistics
翻译-translation。 ICLR
句子填空-sentence completion。 Google
短文本的情感分类-sentiment classification from short reviews。 NAACL
对话系统的用户意图分类-user intent classification for dialog systems。 IBM Research
罪名预测-criminal charge prediction。代码： https://github.com/thunlp/attribute_charge 。 Association for Computer Linguistics
单词相似度任务-word similarity tasks。 Association for Computer Linguistics*
多标签文本分类-multi-label text classification。 Association for Computer Linguistics**

5.3 机器人 ：为了让机器人的行为更像人类，它们应该能够从少量的示例中归纳出信息。因此，小样本学习在训练机器人完成特定任务中扮演了一个关键角色，例如：

通过模仿一个动作来学习该动作-learning a movement by imitating a single demonstration。 IEEE****
从少量示例中学习操作动作-learning manipulation actions from a few demonstrations。 IEEE*****
视觉导航-visual navigation。 PMLR
连续控制-continuous control。 NIPS*****

5.4 声信号处理 ：包含有关声音信息的数据可以通过声信号处理进行分析，小样本在该方向的应用有：

从用户少量的音频样本中克隆声音( voice cloneing )，如导航app中的声音、Siri等。
变声- voice conversion
不同语言之前的声音转换

5.5 其它应用 ：

医学应用(如， few-shot drug discovery )。
单样本结构搜索- one-shot architecture search ：通过一次训练超网(超网是几个Internet Protocol (IP)网络或子网的组合，组成一个具有单一无分类域间路由(CIDR)前缀的网络)来寻找体系结构。
数学应用
- 曲线拟合- curve-fitting
- 理解数字类推，通过逻辑推理( logic reasoning )来执行计算

6. Python实现

Pytorch – Torchmeta ：一个用于小样本分类和回归问题的库，可以作为多个问题的基线。
FewRel ：一个大规模的小样本关系提取数据集，包含了100+关系和很多已标注的跨领域的实例。
Meta Transfer Learning ：这个库包含了基于元迁移学习的小样本学习的TensorFlow和PyTorch实现。
Few Shot ：纯净、易读、有测试代码的小样本学习研究复现库。
Few-Shot Object Detection ( FsDet )：包含基于小样本的物体检测“ Simple Few-Shot Object Detection ”的官方实现。
Prototypical Networks on the Omniglot Dataset ： “Prototypical Networks for Few-shot Learning” 的Pytorch实现。

机器学习的未来

IBM 研究表明，机器学习在未来将围绕以下领域发展：

经典机器学习：一次处理一个数据集、一个任务和一个繁重训练的问题
基于小样本的机器学习：处理大量的离线训练，然后在类似的任务上轻松学习
发展中的机器学习：持续学习各种任务。

当前 机器学习 的技术已经运用到很多工程项目中，但大部分 机器学习 的算法只有在样本数量充足且运用在单一场景中的时候，才能获得良好的结果。其中，经典的支持向量回归机是一种具有良好泛化能力的回归算法。但若当前场景的样本数量较少时，则得到的回归模型泛化能力较差。针对此问题，本文以加权ε 支持向量回归机为基础，提出了小样本数据的迁移学习支持向量回归机算法。本文算法以加权ε支持向量回归机为Bagging 算法的基学习器，使用与目标任务相关联的源域数据，通过自助采样生成多个子回归模型，采用简单平均法合成一个总回归模型。在UCI 数据集和现实数据集——玉米棒与花生粒储藏环节损失数据集上的实验结果表明本文方法较标准ε-SVR 算法与改进的RMTL 算法在小数据样本上有更好的泛化能力。

分类非常常见，但如果每个类只有几个标注样本，怎么办呢？比如：我们打造了一个智能对话开发平台以赋能第三方开发者来开发各自业务场景中的任务型对话，其中一个重要功能就是对意图进行分类。大量平台用户在创建一个新对话任务时，并没有大量标注数据，每个意图往往只有几个或十几个样本。面对这类问题，有一个专门的 机器学习 分支——Few- shot L ear ning 来进行研究和解决。一、 小样本学习 方法 1、基于模型微调的 小样本学习 基于模型微调的方法是 小样本学习 较为传统的方法,该方法通常在大规模数据上预训练模型,在目标小样

在大规模 小样本学习 （large-scale FSL ）中，有这样一个baseline：使用所有的源类（source class）训练一个feature embedding模型，然后用这个模型提取出目标类（target class）中样本的特征，以进行最近邻分类。从下图可以看出，仅使用简单的最近邻（NN）方法得到的结果，甚至能与目前最先进的 FSL 模型相匹配：这就说明了一个问题：在SGM、PP...

Rethinking Few- Shot Image Classification: A Good Embedding Is All You Need? https://arxiv.org/abs/2003.11539(CVPR2020) https://github.com/WangYueFt/rfs/(code) keywords: FSL 、Embedding Model、Knowl...

Generalizing from a Few Examples: A Survey on Few- Shot L ear ning 论文地址：paper 这篇概述很简洁：简介的论文解读一、摘要 机器学习 在有大量数据支撑的时候的效果很好，但是数据量很少的时候效果很差了。Few shot l ear ning 是针对于这个问题场景下提出的解决办法，他可以迅速自适应到一个新的任务中去。 FSL 的核心问题是unreliable empirical risk minimizer，基于如何利用先验知识来解决问题，我们可以把

在安装 FSL 之前，需要先在虚拟机上安装好Ubuntu系统，建议预留给它的硬盘空间大于60G。接下来，按照以下步骤安装 FSL ： 1. 打开终端（Ctrl+Alt+t），固定到左侧选项栏。 2. 输入以下指令以添加 FSL 软件包的源：sudo sh -c 'echo "deb http://neuro.debian.net/debian data main" > /etc/apt/sources.list.d/neurodebian.list' 3. 输入以下指令以添加 FSL 软件包的密钥：sudo apt-key adv --recv-keys --keyserver hkp://pgp.mit.edu:80 0xA5D32F012649A5A9 4. 输入以下指令以更新软件包列表：sudo apt-get update 5. 输入以下指令以安装 FSL ：sudo apt-get install fsl -complete 6. 安装完成后，可以在终端中输入 fsl 命令来启动 FSL 。需要注意的是，官网原指令是“sudo apt-get install fsl -complete”，但有些用户在安装时可能会提示找不到安装包，这时可以尝试使用上述步骤来安装 FSL 。另外， FSL 的安装方式有多种，可以根据自己的需求选择适合自己的安装方式。 PaddlePaddle: AssertionError: In PaddlePaddle 2.x, we turn on dynamic graph mode by default