[发明专利]一种适合卷积神经网络模型的dropout方法

说明书

本发明提供一种适合卷积神经网络模型的dropout方法，属于人工智能技术领域，首先根据伯努利分布初始化一个特征图的遮罩矩阵的中心点，然后根据中心点生成多尺度区域矩形，最后对区域内的特征图进行dropout。本发明提出的方法能够增加卷积神经网络模型的鲁棒性。

技术领域

本发明涉及人工智能技术，尤其涉及一种适合卷积神经网络模型的dropout方法。

背景技术

深度学习是当前人工智能领域的代表性技术。深度卷积神经网络模型能够从大量原始样本数据中学习数据的表征，有很高的抽象能力。模型的鲁棒性是评价机器学习模型能力的重要指标，如果模型的鲁棒性差，则模型过于敏感而不能被实际应用。所以，加强机器学习模型的鲁棒性对模型的实际应用效果影响很大。

Dropout技术是一种典型的增加神经网络模型鲁棒性的手段。在训练过程中，通过随机丢弃一些特征向量增加模型的学习能力，从而提高其鲁棒性。Dropout技术已经被应用在许多模型中，尤其是在全连接神经网络或模型的全连接层部分。但该技术对卷积神经网络效果较差，主要原因是卷积核对图像或特征图的一个区域进行学习，图像或特征图的单点与其周围点具有强相关性，而传统dropout技术以单点为基本元素进行舍弃，图像或特征图的完整信息基本被无干扰得输入到下一层，所以并没有起到增加模型鲁棒性的作用。

发明内容

为了解决以上技术问题，本发明提出了一种适合卷积神经网络模型的dropout方法，通过舍弃图像和特征图中的一个或多个区域的信息来干扰特征的传输，从而有效达到增加模型鲁棒性的效果。

本发明的技术方案是：

本发明将针对卷积神经网络模型给出一种多尺度空间dropout方法(Multi-ScaleSpatial Dropout)，称之为MSSDropout方法。MSSDropout方法对特征图的所有通道的一个或多个随机空间区域进行多尺度的dropout，即对选中的区域的特征值重新赋值为0。

首先，我们设计了一种对特征图上的空间区域随机选取方法。根据特征图宽度、高度和通道数建立一个相同大小的遮罩，然后对遮罩进行初始化，采用伯努利分布对每个位置进行赋值。初始化完毕后，遮罩上每个位置的值被设定为0或1。0表示该位置对应的特征图上的特征值将被dropout，否则保留。

然后以遮罩上每个为零的位置进行扩展。首先设置一个扩展后的矩形区域面积与特征图原始面积的比例列表作为候选比例。然后将每个为零的位置设置为一个矩形区域的中心，随机选取一个候选比例值得到遮罩上矩形的长度和高度，将遮罩上该矩形区域内的所有值重新复制为0。操作完成后，原来遮罩上多个零散为零的点将变成多个分布在遮罩上为零的矩形区域。将遮罩上的每个位置上的值与特征图上每个位置上的值进行乘法运算，得到dropout之后的特征图。

最后，将MSSDropout方法应用到整个卷积神经网络模型。在训练阶段，首先为每个需要进行dropout的卷积层设定伯努利分布超参数。卷积层计算得到输出的特征图之后进行dropout，得到dropout之后的特征图，然后进行激活等运算，传输给下一层。在推理阶段，将遮罩上每个位置为零的概率设置为0即可屏蔽掉dropout运算，也可以直接移除掉或跳过dropout。

本发明的有益效果是

解决了卷积神经网络无法通过传统dropout方式增加模型鲁棒性的问题。本发明主要基于卷积层输出的激活特征图中的任意一个值都与相邻区域存在关联性，提出了空间区域的整体dropout方法，并且引入了多尺度特征，进一步增加了模型的鲁棒性。

附图说明

图1为生成遮罩mask的示意图；

图2是MSSDropout方法适用的训练流程示意图。

具体实施方式