[发明专利]基于概率分布的高效神经网络结构搜索方法

说明书

本申请涉及基于概率分布的高效神经网络结构搜索方法。通过神经网络结构搜索得到的神经网络结构在当前各种计算机图像任务和语言任务中都取得了非常具有竞争力的效果。如何提高搜索策略的效率，降低神经结构评估代价，以达到在更短的时间里找到更好的网络结构依然是努力的方向。本发明提供了一种概率分布式算法，大大减少了训练子网络的数量，加快了神经网络架构搜索过程，并使用边训练边搜索的参数共享模式，在降低子网络评估成本的同时，保证了表现更好的操作得到更多的训练，进一步加快了神经网络架构搜索过程。在CIFAR‑10上，我们的方法用GTX1080Ti只需要2个GPU小时，便可以搜索出一个最佳神经网络结构，在网络参数量仅为2.8M的大小下，实现了2.69％的测试错误。在ImageNet数据集上，该网络可达到76％的top1精度。

技术领域

本发明涉及一种人工智能领域中深度神经网络结构设计的方法，特别涉及一种高效神经网络结构搜索方法。

背景技术

在过去的几年里，在指定的神经网络架构空间中进行自动神经网络搜索已经引起了大家极大的关注。为此，已经有很多人提出了许多优秀的搜索算法和评估策略去寻找到最佳神经网络架构索(neural architecture search，NAS)。总的来说，NAS框架分为三个部分，分别是搜索空间、搜索策略、评估策略。如图1。

搜索空间定义优化问题的变量，神经网络结构和超参数的变量定义有所不同，不同的变量规模对于算法的难度来说也不尽相同。假如我们找到了一组网络架构参数和对应的超参数，深度学习模型的性能其实是由这组参数来控制和决定的，所以只需要对复杂模型的架构参数和对应的超参数进行优化即可。在NAS初期，我们常用的网络架构是链状结构，如图2。

这种结构相当于一个N层的序列，每一层有几种可选的算子，比如卷积、池化等，每种算子包括一些超参数，比如卷积尺寸、卷积步长等。

而最近的一些工作受启发于一些人工设计的网络架构，研究带有多分支的网络，如图3。

有很多的深层网络会有类似的结构，很多的网络结构虽然很深，但会有许多重复的cell，将cell抽象出来之后，复杂的结构也会变得简单，一方面可以减少优化变量数目，另一方面相同的cell可以在不同任务之间进行迁移，如图4。

神经网络架构搜索问题由于其高纬度、连续和离散混合等诸多难点，在搜索空间维度这块如果可以做些降维，将会大大提升效果，Zoph在2018年的工作用了cell这种方式相比于2017年的工作有了7倍的加速。

搜索策略定义了使用怎样的算法可以快速、准确找到最优的网络结构参数配置。常见的搜索策略包括：强化学习、进化算法、随机搜索、贝叶斯优化、基于梯度的算法。如NAS中的工作使用强化学习作为元控制器，根据采样网络的性能，训练迭代递归神经网络(RNN)控制器来顺序采样编码特定神经体系结构的字符串，产生新的子网络。进化算法的大概框架也基本类似，先随机生成一个种群(N组解)，开始循环以下几个步骤：选择、交叉、变异，直到满足最终条件。进化算法是一种无梯度的优化算法，优点是可能会得到全局最优解，缺点是效率相对较低。DARTS则是将离散的搜索空间松弛到了连续的空间，这样就可以使用梯度的方法来有效的优化搜索空间。通过将搜索网络架构的问题转化为一个对连续变量进行优化的过程。搜索完成之后，需要选择最有可能的操作，而其他操作将会被丢弃。这样DARTS就相当于在求解一个二次优化问题，在优化网络权重的同时，还需要优化混合操作。但是，这样会导致在搜索时面临大量GPU内存消耗的问题。