共计 2792 个字符，预计需要花费 7 分钟才能阅读完成。
机器学习最近获得了很大的停顿，但依然有一个次要的挑战：须要大量的标记数据来训练模型。
有时这种数据在事实世界中是无奈取得的。以医疗保健为例，咱们可能没有足够的 x 光扫描来查看一种新的疾病。然而通过少样本学习能够让模型只从几个例子中学习到常识!
所以少样本学习 (FSL) 是机器学习的一个子畛域，它解决了只用大量标记示例学习新工作的问题。FSL 的全副意义在于让机器学习模型可能用一点点数据学习新货色，这在收集一堆标记数据太低廉、破费太长时间或不实用的状况下十分有用。
少样本学习办法
反对样本 / 查问集: 应用大量图片对查问集进行分类。
少样本学习中有三种次要办法须要理解: 元学习、数据级和参数级。
- 元学习: 元学习包含训练一个模型，学习如何无效地学习新工作;
- 数据级: 数据级办法侧重于减少可用数据，以进步模型的泛化性能;
- 参数级: 参数级办法旨在学习更强壮的特色示意，以便更好地泛化到新工作中
元学习
元学习(学习如何学习)。这种办法训练一个模型学习如何无效地学习新工作。这个模型是对于辨认不同工作之间的共同点，并应用这些常识通过几个例子疾速学习新货色。
元学习算法通常在一组相干工作上训练模型，并学习从可用数据中提取与工作无关的特色和特定于工作的特色。工作无关的特色捕捉对于数据的个别常识，而工作特定的特色捕捉当前任务的细节。在训练过程中，算法通过仅应用每个新工作的几个标记示例更新模型参数来学习适应新工作。这使得模型能够用很少的示例推广到新的工作。
数据级办法
数据级办法侧重于裁减现有数据，这样能够帮忙模型更好地了解数据的底层构造，从而进步模型的泛化性能。
次要思维是通过对现有示例利用各种转换来创立新的示例，这能够帮忙模型更好地了解数据的底层构造。
有两种类型的数据级办法:
- 数据加强: 数据加强包含通过对现有数据利用不同的转换来创立新的示例;
- 数据生成: 数据生成波及应用生成反抗网络 (GANs) 从头生成新的示例。
数据级的办法:
参数级办法指标是学习更强壮的特色示意，能够更好地泛化到新的工作。
有两种参数级办法:
- 特征提取: 特征提取波及从数据中学习一组特色，能够用于新工作;
- 微调: 微调包含通过学习最优参数使预训练的模型适应新工作。
例如，假如你有一个事后训练好的模型，它能够辨认图像中的不同形态和色彩。通过在新数据集上微调模型，只需几个示例，它就能够疾速学会辨认新的类别。
元学习算法
元学习是 FSL 的一种风行办法，它波及到在各种相干工作上训练模型，以便它可能学习如何无效地学习新工作。该算法学习从可用数据中提取工作无关和工作特定的特色，疾速适应新的工作。
元学习算法能够大抵分为两种类型: 基于度量的和基于梯度的。
基于度量的元学习
基于度量的元学习算法学习一种非凡的办法来比拟每个新工作的不同示例。他们通过将输出示例映射到一个非凡的特色空间来实现这一点，在这个空间中，类似的示例放在一起，而不同的示例则离开很远。模型能够应用这个间隔度量将新的示例分类到正确的类别中。
一种风行的基于度量的算法是 Siamese Network，它学习如何通过应用两个雷同的子网络来测量两个输出示例之间的间隔。这些子网络为每个输出示例生成特色示意，而后应用间隔度量 (如欧几里得间隔或余弦类似度) 比拟它们的输入。
基于梯度元的学习
基于梯度的元学习学习如何更新他们的参数，以便他们可能疾速适应新的挑战。
这些算法训练模型学习一组初始参数，只需几个例子就能疾速适应新工作。MAML (model – agnostic 元学习)是一种风行的基于梯度的元学习算法，它学习如何优化模型的参数以疾速适应新工作。它通过一系列相干工作来训练模型，并应用每个工作中的一些示例来更新模型的参数。一旦模型学习到这些参数，它就能够应用当前任务中的其余示例对它们进行微调，进步其性能。
基于少样本学习的图像分类算法
FSL 有几种算法，包含：
- 与模型无关的元学习(Model-Agnostic Meta-Learning): MAML 是一种元学习算法，它为模型学习了一个良好的初始化，而后能够用大量的例子适应新的工作。
- 匹配网络（Matching Networks）: 匹配网络通过计算类似度来学习将新例子与标记的例子匹配。
- 原型网络（Prototypical Networks）: 原型网络学习每个类的原型示意，依据它们与原型的相似性对新示例进行分类。
- 关系网络（Relation Networks）: 关系网络学会比拟成对的例子，对新的例子做出预测。
与模型无关的元学习
MAML 的要害思维是学习模型参数的初始化，这些参数能够通过一些示例适应新工作。在训练过程中，MAML 承受一组相干工作，并学习仅应用每个工作的几个标记示例来更新模型参数。这一过程使模型可能通过学习模型参数的良好初始化来泛化到新的工作，这些参数能够疾速适应新的工作。
匹配网络
匹配网络是另一种罕用的少样本图像分类算法。它不是学习固定的度量或参数，而是基于以后反对集学习动静度量。这意味着用于比拟查问图像和反对集的度量因每个查问图像而异。
匹配网络算法应用一种注意力机制来计算每个查问图像的反对集特色的加权和。权重是依据查问图像和每个反对集图像之间的相似性来学习的。而后将反对集特色的加权和与查问图像特色连接起来，失去的向量通过几个全连贯的层来产生最终的分类。
原型网络
原型网络是一种简略无效的少样本图像分类算法。它学习图像的示意，并应用反对示例的嵌入特色的平均值计算每个类的原型。在测试过程中，计算查问图像与每个类原型之间的间隔，并将原型最近的类调配给查问。
关系网络
关系网络学习比较支持集中的示例对，并应用此信息对查问示例进行分类。关系网络包含两个子网络: 特色嵌入网络和关系网络。特色嵌入网络将反对集中的每个示例和查问示例映射到一个特色空间。而后关系网络计算查问示例和每个反对集示例之间的关系分数。最初应用这些关系分数对查问示例进行分类。
少样本学习的利用
少样本学习在不同的畛域有许多利用，包含:
在各种计算机视觉工作中，包含图像分类、指标检测和宰割。少样本学习能够辨认图像中不存在于训练数据中的新对象。
在自然语言解决工作中，如文本分类、情感剖析和语言建模，少样本学习有助于进步语言模型在低资源语言上的性能。
在机器人技术中应用多数次学习，使机器人可能疾速学习新工作，适应新环境。例如，机器人只须要几个例子就能够学会捡起新物体。
少样本在医疗诊断畛域能够在数据无限的状况下辨认常见疾病和异样，能够帮忙个性化医治和预测病人的后果。
总结
少样本学习是一种弱小的技术，它使模型可能从多数例子中学习。它在各个领域都有大量的利用，并有可能彻底改变机器学习。随着一直的钻研和开发，少样本学习能够为更高效和无效的机器学习零碎铺平道路。
https://avoid.overfit.cn/post/8dd0bcbeec7243f5a7da1e445d66b57f
作者：Christophe Atten