[发明专利]一种基于深度特征选择融合的RGB-D语义分割方法

权利要求书

1.一种基于深度特征选择融合的RGB-D语义分割方法，其特征在于，包括以下步骤：

步骤1：构建语义分割模型：

采用双流卷积神经网络作为语义分割模型，包括两个编码器和一个解码器；

步骤2：RGB-D信息融合；

步骤2-1：图像预处理；

从公开训练集中取出RGB-D图像和对应标签图像作为训练样本集，并将训练样本集中图像尺寸统一变为A*A；RGB-D图像由可见光图像和深度图像组成；

将单通道的深度图像编码为三通道HHA图像；

步骤2-2：将可见光图像和HHA图像分别输入两个编码器进行特征提取，得到两个特征序列，每个特征序列包括m层特征图，表示如式(1)：

其中和分别为可见光图像和深度图像的第j层特征图，H,W,C分别表示特征图的高、宽和通道数；

步骤2-3：将和分别经过一个1*1的卷积，得到经过选择的特征图，表示为式(2)：

其中和分别为可见光图像和深度图像的第j层经过选择的特征图，和分别表示经过一个1*1的卷积进行选择的过程；

步骤2-4：采用式(3)计算两个特征序列第j层的融合特征：

其中，和分别表示两个特征序列第j层和第j-1层的融合特征，f_conv(.)表示卷积，f_down(.)表示下采样，f_concat(.)表示级联；两个特征序列第1层的融合特征为：

步骤3：细节信息重用；

步骤3-1：将两个特征序列第m层的融合特征输入解码器作为解码器的第一层；将两个特征序列第m层的融合特征进行上采样作为解码器的第二层；

步骤3-2：使用空间注意力对两个特征序列第2层到第m-1层的融合特征分别进行选择，选择后的结果再与两个特征序列的融合特征按照式(5)进行再次融合，对再次融合的结果进行上采样，得到解码器的第三层到第m层；

其中，表示再次融合后第m-i+1层的结果，表示两个特征序列第i层的融合特征，表示解码器第m-i+1层，表示解码器第m-i+2层，f_up(.)表示上采样；

当i＝2时，得到即为分割结果，分割结果的图像尺寸为A*A；

步骤4：语义分割模型训练；

使用训练样本集对语义分割模型进行训练；将训练样本集的RGB-D图像输入语义分割模型经过步骤2和步骤3进行分割；

将训练样本集的标签图像依次进行m-2次下采样，每次下采样得到图像的尺寸分别与特征序列第m-1层到第2层的特征图的尺度相同；

将训练样本集的标签图像及依次进行m-2次下采样后的图像分别作为语义分割模型第m层到第2层的监督信息对语义分割模型进行训练；

训练的目标函数为：

其中，l_i和λ_i分别表示第i层的加权交叉熵损失函数及其权重，class为类别编号，weight[class]为每个类别的像素在训练集中出现的频率，x[.]是预测的分割结果；

步骤5：将待分割RGB-D图像输入训练完成的语义分割模型即得到图像分割结果。

2.根据权利要求1所述的一种基于深度特征选择融合的RGB-D语义分割方法，其特征在于，所述A＝480，m＝4，λ₁＝0.1,λ₂＝0.1,λ₃＝0.2。

3.根据权利要求1所述的一种基于深度特征选择融合的RGB-D语义分割方法，其特征在于，所述步骤4中将训练样本集的标签图像依次进行m-2次下采样时采用最近邻插值下采样。