[发明专利]一种基于深度学习的图像自适应稀疏化表征方法及装置

权利要求书

1.一种基于深度学习的图像自适应稀疏化表征方法，其特征在于，包括如下步骤：

A1:选取任意的深度卷积神经网络模型M，在卷积操作的每个阶段加入基于半硬注意力机制的深度学习方法，将所述半硬注意力机制加到卷积层中，构建新的深度卷积神经网络模型M'；

A2:设置线性递增的半硬注意力稀疏化值域，用于得到稀疏化图像表征；

A3:设置合适于任务的损失函数，利用反向传播训练整个深度卷积神经网络模型M'；

其中，所述半硬注意力机制是指，神经网络利用图像特征的统计信息来学习图像特征的权重值，当权重值小于设定的值域k时，将小于k的权重值对应的图像特征归零；

所述步骤A2中，设置一个动态值域函数：

y＝min(f(x),k)     (4)

其中，f(x)为线性函数，x代表训练中的迭代次数，从0开始一直递增到最大迭代次数，直到f(x)的值大于k时，动态值域y的值固定为k，不再变化；使网络经过迭代，先让每个图像特征的权重值学到一个局部优解，然后逐步增大权重值归零的值域，最终使得网络收敛到一个总体更优的解上；

每一次迭代时，将注意力值v'_i+1,j小于公式(4)中动态值域的那些值设为0，然后作用于当前层的卷积特征上，得到自稀疏化的特征：

F′_i+1,*＝v′_i+1,**F_i+1,*     (5)；

其中F_i+1,*表示第i+1个特征图，v'_i+1,*为第i+1个特征图对应的半硬注意力值，F'_i+1,*为前两者相乘后稀疏化的特征图。

2.如权利要求1所述的方法，其特征在于，所述步骤A1中，使用多次卷积操作，逐步提取图像局部信息，再对拥有局部信息的图像特征进行卷积，从而提取到全局信息。

3.如权利要求1所述的方法，其特征在于，所述步骤A1中，所述卷积操作如式(1)：

F_i+1,j＝Conv(F_i,*)     (1)

其中，Conv代表卷积操作，F_i+1,j代表第i+1层卷积输出的第j个特征，F_i,*代表第i层的全部特征；

引入注意力机制如式(2)，使用每个图像特征的均值v_i+1,j来决定该特征的重要性：

v_i+1,j＝avgpool(F_i+1,j)     (2)

其中，F_i+1,j是一个长为h，宽为w的二维特征，avgpool表示对于F_i+1,j这个二维特征求均值，即，

随后，通过一个线性变换及一个非线性激活函数，将所述均值映射至[0,1]之间的权重：

v'_i+1,*＝δ(Wv_i+1,*)     (3)

其中，v'_i+1,*为注意力值，Wv_i+1,*为线性变换的可学习权重，δ代表sigmoid激活函数。

4.如权利要求1至3任一项所述的方法，其特征在于，每隔两个卷积层加一个半硬注意力机制用于特征稀疏化。

5.如权利要求1至3任一项所述的方法，其特征在于，所述步骤A3中，使用交叉熵函数来处理图像分类相关任务，使用均方差损失函数来处理目标检测相关任务。

6.如权利要求1至3任一项所述的方法，其特征在于，所述步骤A3中，对于图像分类ImageNet任务，在一维全局特征后接上两个全连接层及一个softmax层输出各类的预测值，使用交叉熵损失函数(Cross Entropy Loss)反向传播训练整个网络：

其中，n代表分类数目，p代表标注给出的正确答案，q代表所训练的模型输出的预测值。