[发明专利]基于贝叶斯优化的渐进式可微分网络架构搜索方法及系统

说明书

本发明公开了一种基于贝叶斯优化的渐进式可微分网络架构搜索方法及系统，所述方法应用于自动机器学习的神经网络结构的搜索，其特征在于，所述方法包括：基于PDARTS，在进行节点之间的操作选择时，采用贝叶斯优化选择出部分操作；通过贝叶斯优化，对节点之间连接的通道进行采样，并进行操作搜索；在每个节点连接的通道贝叶斯优化结束之后，并引入注意力机制进行权值叠加，实现网络架构的搜索。本发明可大幅度的减少在网络架构搜索时占用的存储资源和计算消耗，大幅度加快搜索时间。

技术领域

本发明涉及自动机器学习技术领域，尤其涉及的是一种基于贝叶斯优化的渐进式可微分网络架构搜索方法及系统。

背景技术

神经网络结构搜索(Neural Architecture Search,NAS)是自动机器学习(Auto-ML)领域热点之一，通过设计经济高效的搜索方法，自动获取泛化能力强，硬件要求友好的神经网络，大量的解放研究员的创造力。经典的NAS方法(即网络结构搜索方法)中，主要包含以下三个方面：搜索空间，搜索策略，评价评估。现有技术中在进行网络结构搜索时一般都采用可微分架构搜索(DARTS)和渐进式可微分的网络架构搜索(PDARTS)。

但是，现有技术中可微分架构搜索(DARTS)主要缺点有两点：(1)搜索的网络架构深度问题。该方法只能在比较浅层的网络中进行搜索，当加大搜索的网络深度时，其所占用的存储资源以及计算消耗过大，无法支持。所以其搜索出的模型都是浅层网络，然后将搜索好的模型再扩充为较深的网络进行重新训练。但如此便很大程度影响了其效果。(2)该方法在开始搜索时，其所取的操作为随机的，即受随机初始化的影响，搜索出的结果不太可控，很难复现。而渐进式可微分的网络架构搜索(PDARTS)的主要缺点为：(1)虽然一定程度上解决了资源占用问题，但其所需要的内存与计算损耗仍然很大。而且在大的数据集上，会造成很多无参数的连接(skip-connect)，虽然文中做了一定的限制，但仍然不够准确，导致所搜索出的网络准确度较低，且耗时较大。

因此，现有技术还有待改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于贝叶斯优化的渐进式可微分网络架构搜索方法及系统。

本发明解决问题所采用的技术方案如下：

本发明实施例提供一种基于贝叶斯优化的渐进式可微分网络架构搜索方法，所述方法应用于自动机器学习的神经网络结构的搜索，其中，所述方法包括：

基于PDARTS，在进行节点之间的操作选择时，采用贝叶斯优化选择出部分操作；

通过贝叶斯优化，对节点之间连接的通道进行采样，并进行操作搜索；

在每个节点连接的通道贝叶斯优化结束之后，并引入注意力机制进行权值叠加，实现网络架构的搜索。

在一种实施方式中，所述通过贝叶斯优化，对节点之间连接的通道进行采样，并进行操作搜索包括：

通过贝叶斯优化，选取1/K的通道，进行操作搜索，然后操作混合后的结果与剩下的(K-1)/K的通道进行集中，其中K表示节点之间的中总通道数。

在一种实施方式中，进行通道贝叶斯优化的公式为：

其中，X_i为第i个操作，S_i,j为采样比例(第i个操作中采样j个通道)，α为concat函数的参数。

在一种实施方式中，所述通过贝叶斯优化，对节点之间连接的通道进行采样，并进行操作搜索包括：

通过所述贝叶斯优化，逐渐增加通道的数量，使得进行搜索的操作随之增加，以提高结果的准确度。