[发明专利]一种有效减少图像分类任务中神经网络过拟合的方法

权利要求书

1.一种有效减少图像分类任务中神经网络过拟合的方法，其特征在于,包括以下步骤：

步骤S1、基于图像给定一个网络模型；

步骤S2、将Sequence-Dropout Block置入到模型的卷积层block中间或模型的全连接层的后面；

所述的步骤S2具体包括：

在网络模型的第l层卷积层后添加Sequence-Dropout Block，模型结构的第l层的卷积变化：f_l:Z_l-1→Z_l,在此令参与卷积计算的卷积核为K_l＝[k₁,k₂,...,k_C]_l，k_C为第C通道的卷积核；通过f_l卷积变化得到Z_l＝[z₁,z₂,…,z_C]_l，其中z_C由和Z_l-1＝[z¹,z²,...,z^C′]_l-1的卷积计算得到：

式(1)中忽略了偏置项，且由该式(1)可知，当前层的值是通过上一层所有通道的和产生，通道间的依赖性就被隐性的嵌入到k_C中，为了获取通道的重要程度，并抑制重要程度低的神经元达到网络泛化，在进入下一卷积变化之前进行显式建模通道依赖性，把输出的权重看成是经过特征选择后的每个特征通道的重要性，需要剔除的非重要通道赋值0，留下的重要通道赋值1，最后通过乘法逐通道加权到先前的特征上，完成在通道维度上对原始特征的排序丢弃；

所述的步骤S2具体以下步骤：

步骤S21、通道压缩计算；为了计算图像分类任务中通道的权重值，首先需要获取每通道的全局信息，而在更高层将局部的信息综合起来就能得到全局信息，为此需要对输出Z顺着空间维度方向进行压缩，将每个通道的二维的feature map压缩为一个实数，对Z进行W×H维的压缩计算得到式中，S的第c个元素通过以下公式计算：

输出的实数S维度和输入的特征通道数一致，这个数在某种程度上来讲是有一定的全局感受野，它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野；

步骤S22、通道权重计算；通过步骤S1计算得到了各通道的全局信息，利用这些信息可以显式建模各通道的依赖性，为了实现这个目标，通过学习参数来为每个特征通道生成权重，计算公式如下：

E＝f_ex(S,ω)＝g(S,ω)＝ω₂δ(ω₁S) (3)

公式(3)中，δ是ReLU函数，参数ω₁和ω₂被学习用来显式的建模特征通道间的相关性为了减少了参数量和计算量，以及使模型块具有更多的非线性，可以更好地拟合通道间复杂的相关性，采用两个Fully Connected层组成一个Bottleneck结构，先通过第一个Fully Connected层，即参数ω₁将特征维度降低到1/r，然后经过ReLU激活函数后再通过一个Fully Connected层，即参数ω₂升回到原来的维度，得到的E为特征通道的权重值，其维度和特征通道数一致；

步骤S23、排序丢弃计算；通过步骤S22计算得到的E为特征通道的权重值，体现了每个特征通道的重要程度，根据这个权重值丢弃神经元来辅助泛化；首先设定一个丢弃率p对特征通道进行丢弃操作，通常该值设定为0.5，即丢弃一半的特征通道，并在丢弃计算时，首先需要对各特征通道的权重值进行排序，然后通过排序计算后，重新校正特征通道的权重值，对需要丢弃的非重要特征通道，将权重值重新赋值为0，表示该特征通道需要丢弃，而对重要的特征通道，赋值其权重值为1，表示不需要丢弃；

通过计算后，得到的通道权重序列由0和1组成的序列值；最终的模块输出值是由重新赋值后的通道权重序列E，对原始卷积变化的输出z进行重新调节得到：

公式(4)中，f_sd(·)为对应通道乘积计算，特征映射模块输出