[发明专利]基于全注意力网络结构搜索的图像分类算法

说明书

本发明公开了一种基于全注意力网络结构搜索的图像分类算法，首先设计一个阶段性搜索空间，网络的每个阶段选择不同的自注意力操作；然后使用自监督搜索方法进行搜索，更新网络内部权重参数和结构参数，当自监督搜索阶段完成时，保留结构参数，并使用它们作为监督搜索阶段的初始值；最后使用监督搜索方法进行搜索，更新网络内部权重参数和结构参数，根据结构参数得到最优的全注意力网络。本发明提出的搜索方法能够搜索出高性能的全注意力网络结构，同时保证所需的搜索效率。在图像分类任务上的实验结果表明，搜索出来的全注意力网络模型优于最先进的架构，同时大大减少了参数量。

技术领域

本发明涉及计算机视觉中的图像分类领域，更具体地，涉及到一种基于全注 意力网络结构搜索算法来高效设计针对图像分类任务的全注意力网络结构。

背景技术

近年来，注意力网络结构设计取得了重大进展。自注意力(self-attention)操作由于其捕获远距离特征依赖关系的能力和基于内容的参数学习机制，成为神经网 络的重要组成部分。完全由自注意力操作构成的神经网络在各类计算机视觉任务 中的应用取得了良好的效果。手工设计一个优秀的全注意力神经网络结构是一个 具有挑战性且复杂的工作，需要大量的先验知识与经验，同时需要消耗大量的时 间与资源来进行实验验证，这大大减缓了注意力网络的发展速度。

网络结构搜索(NAS)为解决上述问题提供了一个途径。NAS是神经网络结构 设计自动化的过程，其目标是在一定的先验知识下，从给定的搜索空间中自动搜 索得到比人工设计的模型性能更优的网络结构。NAS方法不仅能够提高模型的 性能，并且将人类专家从设计网络结构的繁琐任务中解放出来。近年来NAS的 相关研究取得了诸多重要进展。目前，网络结构的搜索算法主要分为三种：基于 强化学习的方法，基于进化算法的方法以及基于梯度的可微分网络结构搜索算法， 他们主要研究如何使用不同的搜索策略来提高搜索的效率与最终得到的网络的 性能。相比于基于强化学习与进化算法的NAS方法，基于梯度的可微分网络结 构搜索算法收敛更快，其优化目标也更为灵活。

现有的NAS方法不适合直接用来搜索全注意力网络。首先，现有NAS方法 通常采用基于细胞的搜索空间，在搜索得到的网络结构中，网络浅层和网络深层 的细胞结构是相同的。这并不适用于自注意力网络搜索，因为自注意力操作在网 络的不同阶段的效果是不同的。并且，现有NAS方法通常使用分类任务作为结 构搜索的监督，分类任务要求模型将更多的注意力放在从与标签信息相关的局部 区域，不需要考虑远距离像素间的内容关联性。然而，自注意力模型专注于捕捉 像素之间的远距离内容依赖，以学习丰富的图像表示。因此，直接使用现有的 NAS方法搜索全注意力网络结构是不合适的。

发明内容

为了解决现有技术中的问题，本发明提供一种基于全注意力网络结构搜索的 图像分类算法，解决现有技术中直接使用现有的NAS方法搜索全注意力网络不准 确的问题。

本发明是通过以下技术方案实现：

一种基于全注意力网络结构搜索的图像分类算法，包括以下步骤：

设计一个阶段性搜索空间，在该空间中，网络的每个阶段选择不同的自注意 力操作；

使用自监督搜索方法进行搜索，将图像输入到阶段性搜索空间的网络模型中， 更新网络内部权重参数和结构参数，当自监督搜索阶段完成时，保留结构参数， 并使用它们作为监督搜索阶段的初始值；

使用监督搜索方法进行搜索，将图像输入到阶段性搜索空间的网络模型中， 更新网络内部权重参数和结构参数，根据结构参数得到最优的全注意力网络。