[发明专利]基于熵损失函数的离散化可微分神经网络搜索方法

权利要求书

1.一种基于熵损失函数的离散化可微分神经网络搜索方法，其特征在于，所述方法包括以下步骤：

步骤1，构建搜索空间；

步骤2，配置搜索阶段的搜索策略；

步骤3，进行搜索训练，获得目标网络。

2.根据权利要求1所述的搜索方法，其特征在于，步骤1中，所述构建的搜索空间为基于单元的超网络搜索空间，记为O，其中的每个元素为一个固定的操作，记为o(*)。

3.根据权利要求2所述的搜索方法，其特征在于，在每个单元内部，不同边的输出采用下式获得：

其中，f_i，j(z_i)表示i节点到j节点的输出特征；z_i表示第i个节点；表示边(i，j)的操作o(*)上的结构权重；

α为对每个操作赋予的结构参数，即操作权重；

节点的输出采用下式获得：

z_j＝∑_i＜jb_i,j·f_i,j(z_i)

Z_j表示第j个节点，β表示对每条连接节点的边赋予的结构参数，即边权重；b_i,j表示边权重经过softmax操作后的值。

4.根据权利要求1所述的搜索方法，其特征在于，步骤2包括以下子步骤：

步骤2-1，根据待搜索得到的网络结构配置，设置搜索条件；

步骤2-2，根据训练数据集，选择控制因子类型，确定搜索策略。

5.根据权利要求4所述的搜索方法，其特征在于，步骤2-1中，所述设置搜索条件包括构建熵损失函数，

所述熵损失函数包括边的熵损失函数和操作的熵损失函数，

其中，边的熵损失函数如下式所示：

i、j为节点序号；N为每个节点保留的输入边数；B＝{β_i,j|i＜j,β_i,j0}，且β_i,j≤1。

6.根据权利要求5所述的搜索方法，其特征在于，设置熵最小值点为b_i,j之中存在N个值为1/N，其余为0。

7.根据权利要求4所述的搜索方法，其特征在于，步骤2-2中，所述搜索策略通过下式获得：

L(θ，α，β)＝L^C(α，θ)+λ_c(λ_αL^o(α)+λ_βL^E(β))

其中，λ_c，λ_α，λ_β是正则化控制因子，分别控制分类损失项、操作离散化损失项和边离散化损失项；L^C(α,θ)为分类损失函数，θ,α,β分别为网络权值、操作权重和边权重；L^O(α)和L^E(β)分别为操作的熵损失函数和边的熵损失函数。

8.根据权利要求1所述的搜索方法，其特征在于，步骤3包括以下子步骤：

步骤3-1，划分训练数据集；

步骤3-2，优化网络结构参数；

步骤3-3，对网络进行离散化，获得目标网络。

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有可微分神经网络搜索程序，所述程序被处理器执行时，使得处理器执行权利要求1至8之一所述基于熵损失函数的离散化可微分神经网络搜索方法的步骤。

10.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有可微分神经网络搜索程序，所述程序被处理器执行时，使得处理器执行权利要求1至8之一所述基于熵损失函数的离散化可微分神经网络搜索方法的步骤。