[发明专利]一种适合卷积神经网络模型的dropout方法

权利要求书

1.一种适合卷积神经网络模型的dropout方法，其特征在于，

首先根据伯努利分布初始化一个特征图的遮罩矩阵的中心点，然后根据中心点生成多尺度区域矩形，最后对区域内的特征图进行dropout。

2.根据权利要求1所述的方法，其特征在于，

主要包括如下几个步骤

1)每个卷积层激活特征图生成遮罩mask；

2)针对卷积神经网络模型的多尺度空间dropout；

3)使用MSSDropout方法训练神经网络模型。

3.根据权利要求1所述的方法，其特征在于，

根据特征图宽度、高度和通道数建立一个相同大小的遮罩，然后对遮罩进行初始化，采用伯努利分布对每个位置进行赋值。

4.根据权利要求3所述的方法，其特征在于，

初始化完毕后，遮罩上每个位置的值被设定为0或1；0表示该位置对应的特征图上的特征值将被dropout，否则保留。

5.根据权利要求4所述的方法，其特征在于，

以遮罩上每个为零的位置进行扩展。

6.根据权利要求5所述的方法，其特征在于，

首先设置一个扩展后的矩形区域面积与特征图原始面积的比例列表作为候选比例；

然后将每个为零的位置设置为一个矩形区域的中心，随机选取一个候选比例值得到遮罩上矩形的长度和高度，将遮罩上该矩形区域内的所有值重新复制为0；

操作完成后，原来遮罩上数个零散为零的点将变成数个分布在遮罩上为零的矩形区域；

将遮罩上的每个位置上的值与特征图上每个位置上的值进行乘法运算，得到dropout之后的特征图。

7.根据权利要求6所述的方法，其特征在于，

最后，将MSSDropout方法应用到整个卷积神经网络模型。

8.根据权利要求7所述的方法，其特征在于，

在训练阶段，首先为每个需要进行dropout的卷积层设定伯努利分布超参数；卷积层计算得到输出的特征图之后进行dropout，得到dropout之后的特征图，然后进行激活运算，传输给下一层。

9.根据权利要求8所述的方法，其特征在于，

在推理阶段，将遮罩上每个位置为零的概率设置为0即可屏蔽掉dropout运算，或者直接移除掉或跳过dropout。