[发明专利]基于注意力机制的图像语义分割特征融合方法

说明书

本发明公开了一种基于注意力机制的图像语义分割特征融合方法，步骤如下：采集样本图像，利用卷积神经网络提取特征，获取样本图像的深层特征图和浅层特征图，调整特征图，将调整后的深层特征图和浅层特征图输入到注意力机制模块；在注意力模块中，将深层特征图进行降维，再将深层特征图聚类得到的语义特征分配到浅层特征图中，将特征图通道数恢复后输出融合特征图；将步骤2输出的融合特征图和步骤1调整之后的浅层特征图进行融合，之后再和步骤1调整后的深层特征图进行融合，得到最后融合特征图。本发明采用注意力机制辅助特征融合，将深层网络提取的语义特征与浅层网络保留的细节特征进行高效融合，提升了语义分割网络的分割精度。

技术领域

本发明涉及图像处理领域，特别涉及一种基于注意力机制的图像语义分割特征融合方法。

背景技术

图像分割是一种将图像根据灰度、色彩、纹理和几何形状等划分成多个有互不相交区域的图像处理技术，是从图像处理到图像分析的关键步骤。语义分割是图像分割的子问题，在语义分割中，每个像素被划分到一个预定义的类集合中，使得同一类的像素属于图像中唯一的语义实体。

目前语义分割通常采用全卷积网络的架构算法，具有良好的分割效果，其中卷积神经网络的深层特征图包含丰富的语义信息，适合指导分类，但存在分辨率较低、难以得到准确结果的缺点；浅层特征图分辨率高，拥有丰富的细节信息，但缺乏语义信息导致难以分类。为达到更好分割效果，需要将深层特征图经过上采样后与浅层特征图融合，目前常用的特征融合方法包括逐点相加法和通道拼接法，但简单的叠加或拼接较粗糙，难以有效利用卷积神经网络不同层次提取的特征，对小物体、边缘细节、易混淆物体、被遮挡物体的分割效果较差。

发明内容

发明目的：针对以上问题，本发明目的是提供一种基于注意力机制的图像语义分割特征融合方法，利用注意力机制辅助特征融合，提升语义分割效果。

技术方案：本发明的基于注意力机制的图像语义分割特征融合方法，步骤如下：

(1)采集样本图像，利用卷积神经网络提取特征，获取样本图像的深层特征图和浅层特征图，调整特征图使深层特征图和浅层特征图的分辨率一致、通道数一致，将调整后的深层特征图和浅层特征图输入到注意力机制模块；

(2)在注意力模块中，将深层特征图进行降维，使高维空间的特征映射到低维空间，再将深层特征图聚类得到的语义特征分配到浅层特征图中，将特征图通道数恢复后输出融合特征图；

(3)将步骤(2)输出的融合特征图和步骤(1)调整之后的浅层特征图进行融合，之后再和步骤(1)调整后的深层特征图进行融合，得到最后融合特征图。

进一步，所述步骤(1)包括：

(11)将深层特征图F_d0进行反卷积得到特征图F_d1，使得深层特征图尺寸和通道数与浅层特征图对齐，将F_d1输入到语义分割模块，用X表示输入的特征图，K为通道数，H为特征图的长，W为特征图的宽，为自然空间坐标系的符号；

(12)将浅层特征图F_S0经过1×1卷积得到特征图F_S1，将F_S1输入到语义分割模块，用Y表示输入的特征图，

进一步，所述步骤(2)包括：

(21)Y经过两个映射运算得到矩阵B和矩阵C，其中映射运算包括1×1卷积和维度转换，计算过程表示为：

其中和σ代表映射运算，和W_σ代表运算参数；

(22)X经过1×1卷积将深层特征图的通道数缩减至M，M为语义分割任务分类数，建立高秩特征向低秩特征的映射，之后经过维度转换得到矩阵A，1×1卷积和维度转换记为映射运算，计算过程表示为：