[发明专利]基于迁移学习和注意力机制元学习应用在小样本图片分类的方法

说明书

本发明公开了一种基于迁移学习和注意力机制元学习应用在小样本图片分类的方法，该方法从大规模的训练数据中学习到先验知识，在只使用少量标记训练数据情况下，可以帮助深度神经网络更快的收敛，同时降低网络过拟合的可能性。该方法采用DenseNet网络作为特征提取器，小样本分类任务的难点就是样本量少，本方法采用的特征提取器网络采用特征重用的方法，将有限的图片进行充分的利用。大规模数据训练为深度网络权值提供了良好的初始化，使元学习在较少的任务下能够快速的收敛，这些操作保持了训练后的深度网络权重不变，从而避免了灾难遗忘的问题。

技术领域

本发明属于深度学习图片分类领域，特别是涉及了一种基于迁移学习和注意力机制元学习应用在小样本图片分类的方法。

背景技术

深度学习在很多领域都取得了很大的成就，比如在目标检测、图像分类、语义分割等方面得出的结果都可以超过人类，但它们通常需要很多的数据才能达到比较高的准确度，并且收集和注释大量的数据成本也是非常昂贵的。而人类可以通过一本书中的一幅插图概括出“狮子”的概念，那么让机器从少量样本中“概括”出某种物体的概念吸引了大量研究者的关注。从少量数据中学习是机器视觉面临的挑战，近年来，元学习在改善机器视觉的少样本学习中表现出了良好的性能。

元学习即“学会学习”，与传统的机器学习方法不同，传统的机器学习的方法是使用固定的学习算法从头开始解决给定的任务，元学习的目的是改进学习算法本身，在多个学习任务中获得经验，通常覆盖相关任务的分布，并使用这种经验来改进未来的学习性能。元学习是一种任务级学习方法，旨在通过学习多个任务积累经验，而基础学习器则侧重于对单个任务的数据分布进行建模。这方面的代表就是模型不确定的元学习(MAML)，学习搜索最优初始化状态，以快速适应基础学习器的新任务。它的任务不可知特性使其有可能推广到少样本监督学习和无监督强化学习。然而这种方法存在着局限性，每个任务通常由一个低复杂度的基础学习器(如浅层神经网络)建模，以避免模型过拟合，从而无法使用更深入和更强大的网络架构。并且现有的元学习方法通常忽视了注意力机制的存在，注意力机制在认知和学习的过程中被证明是重要的。

随着深度网络研究的不断深入，一个新的问题出现了：随着关于输入或梯度的信息经过许多层，当它到达网络的终点或起点时，它可能消失或“洗掉”。近些年提出许多了解决这个问题的方法，例如：ResNets通过跨越连接从一层连接到下一层，但实际中许多层的贡献很小，可以在训练中随机丢弃。这使得ResNets的状态类似于展开的循环神经网络，但是它的参数数量却很大，因为每一层都有自己的权重。本文中使用DenseNet来作为特征提取器，DenseNet明确地区分了添加到网络中的信息和保留的信息。DenseNet层非常狭窄(例如，每层12个滤波器)，只向网络的“集体知识”中添加一小组特征图，并保持剩余的特征图不变——最终的分类器基于网络中的所有特征图做出决策。DenseNet的另一大优势是其改进的信息流动和整个网络的梯度，这使它们易于训练。每一层都有直接访问从损失函数和原始输入信号的梯度，导致一个隐式的深度监督。

近年来，注意机制也被广泛应用在了计算机视觉系统、机器翻译中。神经网络中的注意力机制是在计算能力有限的情况下，将计算资源分配给更重要的任务，同时解决信息超载问题的一种资源分配方案。在神经网络学习中，一般而言模型的参数越多则模型的表达能力越强，模型所存储的信息量也越大，但这会带来信息过载的问题。那么通过引入注意力机制，在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，甚至过滤掉无关信息，就可以解决信息过载问题，并提高任务处理的效率和准确性。那么什么是注意力机制呢？当我们在看一个场景的时候，我们看到的一定是某个场景的某一个地方，当我们的视觉在移动时，注意力随着目光的移动也在移动。也就是说，当人在注意到某个场景时，该场景内每一空间上的注意力分布是不一致的。因此，可以借鉴人脑的注意力机制，只选择一些关键的信息输入进行处理，来提高神经网络的效率。

发明内容