摘要:
元学习或学会学习是系统地观察不同机器学习方法如何在广泛的学习任务中执行的科学,然后从这种经验或元数据中学习,以比其他方式更快地学习新任务 。
这不仅极大地加速和改进了机器学习流程或神经网络架构的设计,还使我们能够用数据驱动方式学习的新方法取代手工设计算法。
在本章中,我们将概述这个迷人且不断发展的领域的最新技术。
元学习或学会学习是系统地观察不同机器学习方法如何在广泛的学习任务中执行的科学,然后从这种经验或元数据中学习,以比其他方式更快地学习新任务 。
这不仅极大地加速和改进了机器学习流程或神经网络架构的设计,还使我们能够用数据驱动方式学习的新方法取代手工设计算法。
在本章中,我们将概述这个迷人且不断发展的领域的最新技术。
在少样本学习中,机器学习系统从一小组与特定任务有关的有标签样本中学习,从而可以推广到同一任务的新示例。鉴于此类任务中有标签样本的数量有限,我们希望充分利用所有可能的信息。通常,模型从小型训练集(support-set)中学习任务特定的信息,以对无标签验证集(target-set也叫query-set)进行预测。target-set包含其他特定于任务的信息,而现有的少样本学习方法并未利用这些信息。通过transductive learning来使用target-set样本需要更先进的方法;at inference time, the target-set contains only unlabelled input data-points, and so discriminative learning cannot be used。在本文中,我们提出了一个名为“Self-Critique and Adapt”或SCA的框架,该框架可以学习无标签损失函数,该函数被参数化为神经网络。基本模型使用现有方法(例如,随机梯度下降与交叉熵损失相结合)在支持集上学习,然后使用学习到的损失函数针对传入的target-task进行更新。学习无标签损失函数,以便target-set-updated模型实现更高的泛化性能。实验表明,与仅适用于支持集的基准相比,SCA可以显着降低错误率,并可以在Mini-ImageNet和Caltech-UCSD Birds 200上获得最先进的基准性能。
阅读全文…少样本学习领域最近有了长足的进步。这些进步中的大多数来自将少样本学习构建为元学习问题。目前,Model Agnostic Meta Learning或MAML是通过元学习进行少样本学习的最佳方法之一。MAML简单,优雅且功能强大,但是它具有许多问题,例如对神经网络结构非常敏感,通常会导致训练过程中的不稳定,需要艰巨的超参数搜索来稳定训练并实现高泛化,在训练和推理时都非常耗费算力。在本文中,我们提出了对MAML的各种修改,这些修改不仅可以稳定系统,而且可以大大提高MAML的泛化性能,收敛速度和计算开销,我们称之为MAML++。
阅读全文…基于梯度的元学习技术在解决具有挑战性的少样本学习和快速适应问题方面有着广泛的应用和实用价值。然而,它们在极端低数据状态下在高维参数空间上操作时存在实际困难。我们表明,有可能通过学习到一个模型参数的依赖数据的潜在生成表示,并在此低维潜在空间中执行基于梯度的元学习,从而绕过这些限制。最终的方法,latent embedding optimization(LEO),将基于梯度的自适应过程与模型参数的底层高维空间解耦。我们的评估表明,LEO可以在竞争激烈的miniImageNet和tieredImageNet少样本分类任务中达到最先进的性能。进一步的分析表明,LEO能够捕获数据中的不确定性,并能通过在潜在空间中进行优化,更有效地进行适应。
阅读全文…智能系统的一个核心功能是能够通过借鉴先前的经验来快速学习新任务的能力。最近,基于梯度(或优化)的元学习已成为一种有效的少样本学习方法。在此形式中,仅使用当前任务中的少量数据,即可在outer loop中学习元参数,而在inner-loop中学习特定于任务的模型。扩展这些方法的关键挑战是需要通过inner-loop学习过程计算微分,这可能会带来相当大的计算和内存负担。借助隐式微分,我们开发了隐式MAML算法,该算法仅取决于inner level优化的解,而不取决于inner loop优化器采用的路径。这有效地将元梯度计算与inner loop优化器的选择解耦。因此,我们的方法与inner loop优化器的选择无关,并且可以优雅地处理许多梯度步骤而不会梯度消失或内存限制。从理论上讲,我们证明隐式MAML可以使用不超过计算单个内循环梯度所需的内存占用量来计算准确的元梯度,而不会增加总的计算成本。从实验上,我们证明了隐式MAML的这些好处可转化为在少样本的图像识别benchmarks上的经验收益。
其他来源:Notes on iMAML: Meta-Learning with Implicit Gradients
对这篇笔记也进行了翻译,链接如下: iMAML笔记(翻译)
阅读全文…少样本学习的许多元学习方法都依赖于简单的基础学习器,例如最近邻分类器。但是,即使在少样本情况下,经过判别训练的线性判别器可以提供更好的泛化能力。我们建议使用这些判别器作为基础学习器,以学习少样本学习的表示形式,并表明它们在一系列少样本识别benchmarks中提供了特征尺寸和性能之间的更好权衡。我们的目标是学习在线性分类规则下对新类别很好地泛化的特征嵌入。为了有效地解决该目标,我们利用线性分类器的两个属性:凸问题的最优性条件的隐式微分和优化问题的对偶表示。这使我们可以在计算开销适度增加的情况下使用具有更高泛化性的高维嵌入。我们的方法名为MetaOptNet,可在miniImageNet,tieredImageNet,CIFAR-FS和FC100一次性学习基准上获得最先进的性能。代码可以在这里找到
阅读全文…