[发明专利]一种基于进化计算的神经网络架构搜索方法和系统

说明书

本发明提供了一种基于进化计算的神经网络架构搜索方法及系统，包括：根据目标需求和平台要求，通过目标函数设置目标要求；根据设置的搜索空间大小，基于子网络模块集合随机生成N个无向有环图，作为进化寻优的网络搜索空间；在启发式信息引导下，结合信息素动态挥发和概率路径选择机制，通过蚁群算法在随机生成的N个无向有环图中搜索N条有向无环图寻优路径，构成候选集；通过训练和测试获取候选集中N条寻优路径的准确率和推理时延，选取最优结果作为当前最优网络结构；评估当前网络架构是否达到目标要求。本发明具有一定的应用灵活性和可扩展性，在资源受限的情况下获得在精度和速度之间实现良好权衡的神经网络模型。

技术领域

本发明涉及深度神经网络的架构设计及优化技术领域，具体地，涉及一种基于进化计算的神经网络架构搜索方法和系统。

背景技术

深度学习对非结构化数据具有强大的自动特征提取功能，具有强大的自动表示能力，因此其在机器翻译、图像识别、语音识别、目标检测、自然语言处理等许多领域都取得了重大突破和进展。基于神经网络架构的设计对数据的特征表示和最终的性能的重要性，研究人员专注于设计各种复杂的神经网络架构，以获得良好的数据特征表示。但是，神经网络架构的设计在很大程度上依赖于研究人员的先验知识和经验，需要大量的时间和精力。而人类现有的先验知识和固定的思维范式在一定程度上难以发现更优的网络架构，初学者也很难根据自己的实际需要对网络架构进行合理的修改。因此，神经架构搜索(NeuralArchitecture Search,NAS)应运而生。NAS旨在有限的计算资源下，利用算法自动化设计具有最优性能的神经网络架构，尽可能减少人工的干预。通过使用强化学习方法得到的网络架构在图像分类任务上达到SOTA分类精度的研究被认为是NAS的开创性工作，也说明自动化网络架构设计思想是可行的。随后，利用演化学习来获得类似结果的大规模进化计算的研究工作再次验证了这一想法的可行性。NAS已迅速应用在目标检测、语义分割、对抗学习、建筑规模和多目标优化等方面。

由于NAS方法需要强大的算力支撑且需消耗庞大的计算量，因此，出现了重构搜索空间以减小搜索范围降低搜索复杂度以及通过参数共享、模型重用、梯度优化等策略加速网络架构的搜索以减少计算量的研究。早期的NAS在架构搜索阶段从无到有地训练每个候选网络架构，导致计算量激增；尽管采用参数共享策略来加快架构搜索的进程，但很可能导致候选架构的排名不准确，将使NAS难以从大量候选架构中选择最优的网络架构，从而进一步降低最终搜索的网络架构的性能。基于One-Shot的可微分神经网络架构搜索方法将搜索空间从离散放松到连续，从而可以使用梯度下降来同时搜索架构和学习权重，缩短了搜索时间，但当搜索轮数过大时，会导致搜索的架构中包含很多的跳跃连接，使得网络变得越浅。浅度网络可学习的参数更少，具有的表达能力更弱，导致网络性能急剧下降。改进的可微分神经网络架构搜索方法虽然采用早停机制直接控制跳跃连接的数量，但是早停的时机把控是一个重要的问题，过早的停止会导致架构搜索不全面。因此，如何在资源受限的条件下取得性能和效率之间的平衡是亟需解决的问题。

国内专利CN111353313A公开了一种基于进化神经网络架构搜索的情感分析模型构建方法，包括以下步骤：群初始化；以嵌入层为第一层，封装数个卷积层单元、数个池化单元和数个全连接单元，并以全连接单元结尾，随机产生M条染色体；采用准确率作为适用度函数进行适应度评估；采用轮盘赌法选择数个染色体个体，组成第一染色体种群；采用不等长染色体交叉方法对第一染色体种群的染色体个体进行两两交叉，得到数个染色体个体，组成第二染色体种群；对第二染色体种群的染色体个体的某一卷积层单元或池化单元或全连接单元进行添加或替换或删除；计算第二染色体种群的染色体个体的适应度，直至到达预设的迭代次数，并采用适应度选出最优的神经网络结构的染色体个体。