[发明专利]基于改进进化算法的循环神经网络架构搜索方法、系统及介质

说明书

本发明公开了一种基于改进进化算法的循环神经网络架构搜索方法、系统及介质，本发明方法包括训练多个循环神经网络子模型来更新共享权重；初始化产生种群和用于记录所有循环神经网络模型性能的历史记录表；从种群中随机采样产生样本，选取样本最优模型进行变异操作，以指定概率移除种群中最老或最差模型，将变异后的子节点加入种群和历史记录表；判断是否满足预设的结束条件，如果不满足则继续进行样本变异，否则输出历史记录表中的最优模型。本发明能够加快对循环神经网络架构进行搜索的过程，每个步骤更新种群时同时考虑到性能和搜索时间，能够极大地提高循环神经网络架构搜索的效率。

技术领域

本发明涉及深度神经网络的架构设计及优化技术，具体涉及一种基于改进进化算法的循环神经网络架构搜索方法、系统及介质。

背景技术

在过去的几年中，深度神经网络在许多具有挑战性的应用中取得了巨大的成功，例如语音识别，图像识别和机器翻译。然而直到最近，大多数这些先进的神经网络架构还是由人类专家手动设计。为了加快这一过程，研究人员研究了自动化方法，这些方法现在通常称为神经网络架构搜索（NAS），传统的神经网络架构搜索方法是使用进化算法。

进化算法的基本步骤包括：首先初始化种群，然后从种群中选取最优的模型作为父亲模型进行变异操作生成子模型，之后更新种群，并将子模型加入种群。不同的进化算法主要体现在对种群的更新上。

老化进化（Aging Evolution，AE）算法是进化算法中的一种，老化进化算法丢弃了种群中年龄最大的模型来更新种群，并发现了超出手动设计性能的图像分类器。非老化进化算法则（Non-Aging Evolution，NAE）则丢弃种群中最差模型来更新种群。与NAE算法相比，AE算法可以探索更多的搜索空间，但是收敛速度较慢。NAE使搜索更快，但有过早收敛并陷入局部最优的风险。

ENAS（Efficient Neural Architecture Search）通过在所有子模型上共享参数大大减少了训练时间。实验结果表明，在Penn Treebank（PTB）数据集上，与NAS相比，ENAS方法寻找到的最优循环神经网络语言模型的困惑度要低5.8，可以达到业内最先进的性能。困惑度是自然语言处理中，评价文本数据集的重要指标。语言模型是可以用来计算一个句子概率的模型。而循环神经网络语言模型在测试集上的对句子的概率越大，语言模型的性能就越好，困惑度就越低。与原始的NAS相比，使用单个Nvidia 1080Ti的ENAS搜寻时间仅为12小时，搜索时间减少了1000倍以上。这主要是因为ENAS受到了迁移学习的启发，在子模型中共享权值，对生成的新的子模型架构不需要重新训练，仅仅通过之前架构权重参数对新生成的架构进行测试。而NAS则要对每个新生成的子模型架构重新进行训练，然后测试性能。但是，ENAS需要训练150 周期来不断更新子模型中的共享权重，并且需要训练LSTM作为控制器来搜索最佳架构，这无疑会增加搜索的时间和复杂性。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于改进进化算法的循环神经网络架构搜索方法、系统及介质，本发明能够加快对循环神经网络架构进行搜索的过程，在更新种群时采用了指定概率ε来丢弃种群中最差模型否则最老的模型以达到算法收敛和搜索更多空间的平衡，以便在每个步骤更新种群时同时考虑到性能和搜索时间，能够极大地提高循环神经网络架构搜索的效率。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于改进进化算法的循环神经网络架构搜索方法，实施步骤包括：

1）训练多个循环神经网络子模型来更新共享权重ω；

2）初始化产生种群，通过共享权重ω评估种群中各个循环神经网络子模型的性能并添加到用于记录所有循环神经网络模型性能的历史记录表history；