[发明专利]一种针对室内场景RGB-D图像的语义分割方法

权利要求书

1.一种针对室内场景RGB-D图像的语义分割方法，其特征在于，该方法具体包括如下步骤：

S1：构建语义分割模型；

（1）以开源Deeplab v3+模型为基础，对网络结构进行改造：以Resnet101作为特征提取网络，增加一个与RGB输入并行的深度的输入通道，通过池化运算保证深度图尺寸与RGB通道的特征图一致；

（2）将Resnet101网络的第一个卷积层替换为局部像素预分组卷积模块；

所述的局部像素预分组卷积模块的计算方式如下：

（2.1）设该模块的卷积感受野为k×k，通过该模块对应的深度图获取卷积感受野内像素对应的深度值，并通过深度值转化出k×k个点的点云坐标{p_i}，i=1,2,…,k²；

（2.2）计算k×k个点的协方差矩阵A

其中，T代表转置；

（2.3）计算矩阵A的特征值，最小特征值对应的特征向量即是与k×k个点的距离之和最小的平面的法向量；

（2.4）计算各个点在方向的投影

（2.5）以卷积核中心点的深度值为零点，计算其他各点与中心点的有向距离d_i，i=1,2,…,k²；

（2.6）以s为宽度，划分出k个深度区间[-(k+2)s/2+js, -(k+2)s/2+(j+1)s]_j ，j=1,2,…,k；

（2.7）将各点与中心点的有向距离d_i落入同一个区间的点分到同一个组，共计k组；再将同组的点进行一个2D卷积操作，然后将k个2D卷积输出求和，将求和的结果作为所述的局部像素预分组卷积模块的输出；

（3）将Resnet101网络输出的特征图输入Deeplab v3+的解码器解码后输出分类得分图；

S2：选择开源RGB-D语义分割数据集，用反向传播算法训练S1得到的语义分割模型；

S3：将测试RGB-D图像输入S2训练好的语义分割模型中，根据输出的分类得分图计算各像素点类别，输出语义分割图像。

2.根据权利要求1所述的针对室内场景RGB-D图像的语义分割方法，其特征在于，所述的解码器的计算过程如下：

（1）提取Resnet101网络第一个卷积层输出的特征图，即低层级特征图；

（2）将低层级特征图输入多尺度空洞卷积模块；所述的低层级特征图分别通过四个不同尺度的空洞卷积层和一个均值池化操作，并将这五个输出叠加，然后通过1×1的卷积压缩通道数，生成压缩后的特征图；再用双线性差值算法将压缩后的特征图上采样至和低层级特征图一致的尺寸，并将上采样后的特征图与低层级特征图叠加；

（3）将步骤（2）得到的叠加后的特征图通过3个3×3卷积，输出通道数为类别数的分类得分图。

3.根据权利要求1所述的针对室内场景RGB-D图像的语义分割方法，其特征在于，k为3。

4.根据权利要求1所述的针对室内场景RGB-D图像的语义分割方法，其特征在于，s为0.5。