[发明专利]一种针对室内场景RGB-D图像的语义分割方法

说明书

本发明提供一种针对室内场景RGB‑D图像的语义分割方法，该方法以Resnet101作为特征提取网络，增加一个与RGB输入并行的深度的输入通道，通过池化运算保证深度图尺寸与RGB通道的特征图一致；并将Resnet101网络的第一个卷积层替换为局部像素预分组卷积模块。该方法改进了传统的RGB语义分割方法，使模型对深度信息敏感，进而提升语义分割效果。

技术领域

本发明涉及计算机图像处理领域，尤其涉及一种针对室内场景RGB-D图像的语义分割方法。

背景技术

语义分割是计算机视觉中非常重要的一个应用，被广泛运用在机器人、自动驾驶、安防监控等诸多领域。目前RGB-D传感器已经相当成熟，它不仅能提供色彩信息，还能提供深度信息。深度信息在色彩边界不明显、纹理特征较弱的场景中，对语义分割有很强的指导作用，而传统的语义分割方法并不能充分利用深度信息。

发明内容

针对现有的RGB图像分割算法无法利用图像深度信息的不足，本发明提出一种针对室内场景RGB-D图像的语义分割方法，以增强图像分割算法的性能，具体技术方案如下：

一种针对室内场景RGB-D图像的语义分割方法，该方法具体包括如下步骤：

S1：构建语义分割模型；

（1）以开源Deeplab v3+模型为基础，对网络结构进行改造：以Resnet101作为特征提取网络，增加一个与RGB输入并行的深度的输入通道，通过池化运算保证深度图尺寸与RGB通道的特征图一致；

（2）将Resnet101网络的第一个卷积层替换为局部像素预分组卷积模块；

所述的局部像素预分组卷积模块的计算方式如下：

（2.1）设该模块的卷积感受野为k×k，通过该模块对应的深度图获取卷积感受野内像素对应的深度值，并通过深度值转化出k×k个点的点云坐标{p_i}，i=1,2,…,k²；

（2.2）计算k×k个点的协方差矩阵A

其中，T代表转置；

（2.3）计算矩阵A的特征值，最小特征值对应的特征向量即是与k×k个点的距离之和最小的平面的法向量；

（2.4）计算各个点在方向的投影

（2.5）以卷积核中心点的深度值为零点，计算其他各点与中心点的有向距离d_i，i=1,2,…,k²；

（2.6）以s为宽度，划分出k个深度区间[-(k+2)s/2+js, -(k+2)s/2+(j+1)s]_j， j=1,2,…,k；

（2.7）将各点与中心点的有向距离d_i落入同一个区间的点分到同一个组，共计k组；再将同组的点进行一个2D卷积操作，然后将k个2D卷积输出求和，将求和的结果作为所述的局部像素预分组卷积模块的输出；

（3）将Resnet101网络输出的特征图输入Deeplab v3+的解码器解码后输出分类得分图；

S2：选择开源RGB-D语义分割数据集，用反向传播算法训练S1得到的语义分割模型；

S3：将测试RGB-D图像输入S2训练好的语义分割模型中，根据输出的分类得分图计算各像素点类别，输出语义分割图像。

进一步地，所述的解码器的计算过程如下：