[发明专利]注意力引导多模态特征融合的图像语义分割方法及装置

权利要求书

1.一种注意力引导多模态特征融合的图像语义分割方法，应用于包括特征提取网络、多模态特征对齐网络、跨模态特征融合网络以及多层特征融合解码网络的整体神经网络，其特征在于，包括：

通过所述特征提取网络对彩色图以及相应深度图分别进行特征提取处理，得到彩色图特征以及深度图特征；

通过所述多模态特征对齐网络将所述彩色图特征以及所述深度图特征沿通道维度连接之后，进行卷积操作得到混合特征，并基于所述混合特征在通道维度和空间维度上对所述彩色图特征以及所述深度图特征进行对齐，得到对齐后的彩色图特征以及对齐后的深度图特征；

通过所述跨模态特征融合网络分别获取所述对齐后的彩色图特征各个位置点的重要程度的第一权重矩阵，以及所述对齐后的深度图特征各个位置点的重要程度的第二权重矩阵，然后将所述第一权重矩阵与所述对齐后的彩色图特征融合以及将所述第二权重矩阵与所述对齐后的深度图特征融合后再进行叠加处理，得到融合特征；

通过所述多层特征融合解码网络逐层将所述融合特征进行卷积操作以及上采样处理，输出语义分割图。

2.如权利要求1所述的图像语义分割方法，其特征在于，所述基于所述混合特征在通道维度和空间维度上对所述彩色图特征以及所述深度图特征进行对齐，得到对齐后的彩色图特征以及对齐后的深度图特征的步骤，包括：

分别对所述混合特征在水平方向和竖直方向进行全局平均池化，分别得到水平方向上的特征向量以及竖直方向上的特征向量；

将所述水平方向上的特征向量以及所述竖直方向上的特征向量沿通道维度连接，并采用非线性激活函数进行压缩，得到压缩编码后的中间特征图；

基于所述压缩编码后的中间特征图进行特征对齐，得到对齐后的彩色图特征以及对齐后的深度图特征。

3.如权利要求2所述的图像语义分割方法，其特征在于，所述基于所述压缩编码后的中间特征图进行特征对齐，得到对齐后的彩色图特征以及对齐后的深度图特征的步骤，包括：

采用预设的对齐修复算法对所述压缩编码后的中间特征图进行特征对齐，得到对齐后的彩色图特征以及对齐后的深度图特征；

所述对齐修复算法表示为：

其中，X∈R^C×H×W、D∈R^C×H×W分别表示所述特征提取网络得到所述彩色图特征和所述深度图特征，σ表示sigmoid激活函数，和表示所述压缩编码后的中间特征图沿通道维度分成的两个独立特征图，表示卷积操作，X_rep∈R^C×H×W、D_rep∈R^C×H×W分别表示最终输出的对齐后的彩色图特征以及对齐后的深度图特征。

4.如权利要求1所述的图像语义分割方法，其特征在于，所述通过所述跨模态特征融合网络分别获取所述对齐后的彩色图特征各个位置点的重要程度的第一权重矩阵，以及所述对齐后的深度图特征各个位置点的重要程度的第二权重矩阵的步骤，包括：

通过所述跨模态特征融合网络采用预设的差异性分布学习算法，分别获取所述对齐后的彩色图特征各个位置点的重要程度的第一权重矩阵，以及所述对齐后的深度图特征各个位置点的重要程度的第二权重矩阵；

所述差异性分布学习算法表示为：

其中，X_rep、D_rep分别表示所述对齐后的彩色图特征以及所述对齐后的深度图特征，表示卷积操作，||表示沿通道维度连接，δ表示softmax激活函数，G_X′∈R^1×H×W、G_D′∈R^1×H×W分别表示所述第一权重矩阵以及所述第二权重矩阵。