[发明专利]一种基于进化方法的快速注意力神经网络架构搜索方法

说明书

本发明提供了一种基于进化方法的快速注意力神经网络架构搜索方法，包括以下步骤：(1)基于预定的编码方案和种群初始化方案生成包含注意力机制的神经网络架构搜索空间；(2)将进化方法作为搜索方法，以验证集的图像分类准确率为优化目标，通过进化机制与反向传播梯度值对个体的结构与one‑shot模型的权值同时进行优化；进化方法搜索任务结束之后，对种群中的个体进行排序，保留适应度值最大的个体作为搜索到的最优结果；(3)将进化搜索到的个体解码生成神经网络架构，重置结构权值，使用训练数据集对该神经网络架构训练直至收敛，并测试其性能。

技术领域

本发明属于图像处理技术领域，特别涉及一种基于进化方法的快速注意力神经网络架构搜索方法。

背景技术

深度神经网络在处理目标分类、目标检测、目标分割以及目标跟踪等各种计算机视觉任务上取得了显著的成功。其中，目标分类任务是其他任务的基础。深度神经网络的性能很大程度上依赖于其体系结构。因此，为了发挥出深度神经网络的最大性能，通常需要人类专家利用专业知识和相应的数据集对模型架构手工调优。其中，神经网络的架构调优，训练及评估是一个迭代的过程，需要反复进行，不断的优化。这一过程不但耗费了大量的人工和时间成本，而且提高了人工智能技术在传统行业，例如医疗、教育、金融等行业推广的门槛。因此，自动生成网络模型的方法，也就是神经网络架构搜索(Neural ArchitectureSearch,NAS)技术引起了研究人员的广泛关注。

NAS技术可以基于任务目标及相应的数据集，通过方法自动生成深度神经网络架构，从而减少了人工搭建神经网络架构所耗费的人力和时间成本。NAS技术通常分为三步：第一步，定义一个搜索空间，即可供搜索的神经网络架构集合。第二步，利用搜索方法在搜索空间中探索优秀的神经网络架构。第三步，评估探索到的神经网络架构。NAS技术的目标是在庞大的搜索空间中探索到一个性能优秀的网络架构。因此，第二步和第三步是一个反复迭代的过程，模型架构的评估结果通常会反馈至搜索方法，用于指导搜索方法探索到更加有效的神经网络架构。当方法迭代完成之后，会将性能评估最好的结构作为方法的输出。最常用的架构评估方法是将训练数据集输入到这个结构中训练至收敛，之后通过验证集测试这个结构的性能。每一次架构的训练和评估都要耗费大量的计算资源和时间成本。这种计算瓶颈导致了NAS技术难以进一步推广。因此，如何提高神经网络架构搜索的效率，同时降低其计算成本成为了NAS技术中亟待解决的课题。

当前主流的NAS搜索方法主要分为三种：基于强化学习的NAS方法，基于梯度的NAS方法，基于进化方法的NAS方法。基于强化学习的NAS方法通常需要构建一个控制器，通常控制器从搜索空间中采样模型架构。由于采样得到的模型架构的性能由控制器的性能所决定，因此，控制器需要反复评估不同的模型架构，通过迭代的方式更新控制器，从而生成有效的模型架构。基于梯度的NAS方法基于结构的连续松弛(relaxation)表示，将架构搜索转化为连续空间的优化问题，利用梯度下降同时优化网络架构和网络参数。基于进化的NAS方法本质是通过自然选择的方式探索搜索空间。将搜索空间中的神经网络架构作为种群来进化。种群中的每个个体都是一个神经网络架构。神经网络架构在验证集上的性能表现作为个体的适应度值。在进化的过程中，根据个体的适应度值选择一个或者多个个体作为父代。随后通过交叉、变异算子生成子代个体。子代个体完成性能评估之后，会合入父代种群之中。之后通过环境选择生成下一代种群。重复这一过程，直到预设进化代数迭代完成。最后将适应度值最好的个体作为进化方法的输出。