[发明专利]基于贝叶斯优化的渐进式可微分网络架构搜索方法及系统

权利要求书

1.一种基于贝叶斯优化的渐进式可微分网络架构搜索方法，所述方法应用于自动机器学习的神经网络结构的搜索，其特征在于，所述方法包括：

基于PDARTS，在进行节点之间的操作选择时，采用贝叶斯优化选择出部分操作；

通过贝叶斯优化，对节点之间连接的通道进行采样，并进行操作搜索；

在每个节点连接的通道贝叶斯优化结束之后，并引入注意力机制进行权值叠加，实现网络架构的搜索。

2.根据权利要求1所述的贝叶斯优化的渐进式可微分网络架构搜索方法，其特征在于，所述通过贝叶斯优化，对节点之间连接的通道进行采样，并进行操作搜索包括：

通过贝叶斯优化，选取1/K的通道，进行操作搜索，然后操作混合后的结果与剩下的(K-1)/K的通道进行集中，其中K表示节点之间的中总通道数。

3.根据权利要求2所述的贝叶斯优化的渐进式可微分网络架构搜索方法，其特征在于，进行通道贝叶斯优化的公式为：

其中，X_i为第i个操作，S_i,j为采样比例(第i个操作中采样j个通道)，α为concat函数的参数。

4.根据权利要求2所述的贝叶斯优化的渐进式可微分网络架构搜索方法，其特征在于，所述通过贝叶斯优化，对节点之间连接的通道进行采样，并进行操作搜索包括：

通过所述贝叶斯优化，逐渐增加通道的数量，使得进行搜索的操作随之增加，以提高结果的准确度。

5.一种基于贝叶斯优化的渐进式可微分网络架构搜索系统，所述系统应用于自动机器学习的神经网络结构的搜索，其特征在于，所述系统包括：

操作选择模块，用于基于PDARTS，在进行节点之间的操作选择时，采用贝叶斯优化选择出部分操作；

通道贝叶斯优化模块，用于通过贝叶斯优化，对节点之间连接的通道进行采样，并进行操作搜索；

加权叠加模块，用于在每个节点连接的通道贝叶斯优化结束之后，并引入注意力机制进行权值叠加，实现网络架构的搜索。

6.根据权利要求5所述的贝叶斯优化的渐进式可微分网络架构搜索系统，其特征在于，所述通道贝叶斯优化模块用于：

通过贝叶斯优化，选取1/K的通道，进行操作搜索，然后操作混合后的结果与剩下的(K-1)/K的通道进行集中，其中K表示节点之间的中总通道数。

7.根据权利要求6所述的贝叶斯优化的渐进式可微分网络架构搜索系统，其特征在于，所述通道贝叶斯优化模块进行通道贝叶斯优化时执行的公式为：

其中，X_i为第i个操作，S_i,j为采样比例(第i个操作中采样j个通道)，α为concat函数的参数。

8.根据权利要求6所述的贝叶斯优化的渐进式可微分网络架构搜索系统，其特征在于，所述通道贝叶斯优化模块还用于：

通过所述贝叶斯优化，逐渐增加通道的数量，使得进行搜索的操作随之增加，以提高结果的准确度。