[发明专利]一种基于DARTS的图像分类优化方法

权利要求书

1.一种基于DARTS的图像分类优化方法，其特征在于：分为两个阶段：搜索单元训练阶段和整体模型训练测试阶段；

搜索单元训练阶段包括以下步骤：

步骤1：确定搜索空间：搜索单元训练阶段目标是搜索一个单元，这个单元可以堆叠组成卷积神经网络；一个单元是n个节点构成的有向无环图；每一个节点x⁽ⁱ⁾是卷积神经网络中一个特征图的表示，并且每一条边(i,j)是节点x⁽ⁱ⁾到节点x^(j)的操作o^(i,j)；每个单元有两个输入和一个输出，卷积神经网络中，单元的两个输入对应前两层的输出；网络共搜索两种单元，一种是normal cell，另一种是reduction cell；reduction cell会把输出的特征图高度和宽度缩小一倍，用在网络的1/3和2/3处；通过把单元不断堆叠得到表现好的卷积神经网络；

每一个中间节点都是根据所有的前节点计算的，如公式(1)所示：

步骤2：用O表示候选离散的操作集合，其中应用于节点x⁽ⁱ⁾的某个函数o(·)表示某一种操作；为让搜索空间连续，对所有的结构计算其softmax，公式如下：

其中成对节点之间混合权重的操作被向量α^(i,j)∈|O|进行参数化，此时的结构化搜索任务被简化成学习一系列连续的变量的过程α＝{α^(i,j)}；在搜索过程的最后，将每一个混合操作替换为最可能的操作从而得到一个离散的结构α；

松弛完成之后，目标是学习结构α和权重w，类似于强化学习或者进化算法，将验证集上的性能看做最终的目标或者拟合程度，DARTS的目标就是优化验证集上的损失；L_train和L_val分别表示训练和验证的损失；在搜索架构时把验证损失L_val(w^*,α^*)与skip-coonect操作联系到一起如公式4所示，其中λ是一个常数，o_s代表跳跃连接操作，表示架构矩阵，设置架构矩阵跳跃操作为矩阵向量1，其他操作为矩阵向量0，累加跳跃连接操作个数，从而可知跳跃连接操作个数和整体验证损失函数成正比；确定下来结构α之后，通过最小化训练损失得到权重w^*＝argmax_wL_train(w,α^*)，其双层优化公式如下：

w^*(α)＝argmax_wL_train(w,α) (4)

整体模型训练测试包括以下步骤：

步骤1：用搜索单元训练阶段搜到的单元堆叠起来，并用normal cell和reductioncell构建整个卷积神经网络；

步骤2：将图像数据集分为训练集和测试集，将构造好的卷积神经网络在训练集上进行权值的训练，具体操作是输入图像，经过卷积神经网络之后求出网络的输出值与目标值之间的误差，当训练轮数少于设定的轮数，就将误差传回网络中，并更新权重，循环此操作，直至达到一定的训练轮数就停止训练，保存网络的结构和权重；

步骤3：加载网络结构和权重，输入图像数据集在其上面进行图像测试，测试结果可以在很多公开数据集上取得不错的结果。