[发明专利]特征图处理方法、装置、电子设备及存储介质

说明书

本申请公开了一种特征图处理方法、装置、电子设备及存储介质，方法包括：对输入特征图进行全局池化处理，用得到的池化值构建通道维度向量；使用若干不同尺寸的一维卷积核分别处理所述通道维度向量，得到若干一维向量；将所述若干一维向量相加，以相加得到的和作为所述输入特征图的最终通道维度向量；归一化最终通道维度向量，得到对应于每个所述输入特征图的权重因子；将权重因子与所对应的输入特征图相乘，得到特征增强后的输出特征图。本申请提供的特征图处理方法，使用多个一维卷积核处理全局池化后的通道维度向量，这种局部交互用于建模特征通道间的相关性，由于提取了多个尺度的局部特征信息，进一步提高了通道维特征增强的有效性。

技术领域

本申请涉及计算机视觉技术领域，具体涉及一种特征图处理方法、装置、电子设备及存储介质。

背景技术

随着深度学习的兴起，卷积神经网络(CNN)在计算机视觉领域取得了巨大成功。近年来，在计算机视觉领域，注意力机制由于能极大提高CNN在图像分类、物体检测、图像分割等任务中的性能，许多CNN网络均使用了注意力机制来对特征通道进行增强。特征图(feature map)也叫通道(Channel)。通过卷积神经网络(CNN)的卷积层对图像进行卷积处理，得到对应的特征图。卷积层可以在通道与通道之间进行交互，之后在下一层生成新的通道。每个卷积层有多少个卷积核，经过卷积处理后就会产生多少个特征图。卷积神经网络可以包括多个卷积层，可以连续进行多次卷积操作，中间的卷积层对上一卷积层输出的特征图进行卷积处理后输出特征图，由下一卷积层继续进行卷积处理。通过多次卷积处理后得到的特征图的特征提取效果直接影响对图像的处理效果。

现有的ECA-Net使用全局平均池化(GAP)提取某层的通道维度向量，然后使用了一维卷积处理这层的通道维度向量，进而建模这层通道间的相关性，再使用Sigmoid激活函数获得归一化后的通道维权重因子，表示了每个特征通道的重要程度，最后用这个权重因子对相应通道的特征进行加权，从而提升有用特征并抑制对当前任务用处不大的特征。ECA-Net使用一维卷积时，卷积核的维数是根据通道数目来确定的，而且只使用了一种卷积核大小，由于一种卷积核只能提取到局部特征，导致后续建模通道间的相关性不太准确，导致对图像的特征提取效果不佳，影响对图像的下一步处理，影响整体的图像处理效果。

发明内容

本申请的目的是提供一种特征图处理方法、装置、电子设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本申请实施例的一个方面，提供一种特征图处理方法，包括：

对输入特征图进行全局池化处理，用得到的池化值构建通道维度向量；

使用若干不同尺寸的一维卷积核分别处理所述通道维度向量，得到若干一维向量；

将所述若干一维向量相加，以相加得到的和作为所述输入特征图的最终通道维度向量；

归一化所述最终通道维度向量，得到对应于每个所述输入特征图的权重因子；

将所述权重因子与所对应的输入特征图相乘，得到特征增强后的输出特征图。

进一步地，所述全局池化处理为全局平均池化处理或全局最大池化处理。

进一步地，所述使用若干不同尺寸的一维卷积核分别处理所述通道维度向量，得到若干一维向量，包括：

当所述一维卷积核的尺寸与步长与所述通道维度向量不匹配，导致所述一维卷积核不能实现对所述通道维度向量的所有元素的遍历时，则在卷积处理过程中对所述通道维度向量进行边界填充，使所述通道维度向量的所有元素均能够被所述一维卷积核遍历。

进一步地，所述对所述通道维度向量进行边界填充，包括：采用1、2或4的边界填充值对所述通道维度向量进行边界填充。