[发明专利]一种基于深度图的室内实时三维语义分割方法

权利要求书

1.一种基于深度图的室内实时三维语义分割方法，其特征在于，包括步骤如下：

步骤(1)、基于RGB-D相机的实时稠密重建阶段；

通过RGB-D相机运用三维稠密实时重建的技术，来完成实时重建，得到三维稠密的TSDF体素三维模型，为接下来的实时三维语义分割搭建好实时的三维模型；

步骤(2)、实时重建三维模型的平面检测阶段；

得到三维实时重建的模型之后，即TSDF体素三维模型，通过计算机图形学的方法来进行平面检测，通过实时的平面检测，将平面部分剔除后，三维模型剩下的就是各个独立的三维物体的体素模型，即通过平面检测来完成了对室内三维物体相互隔离；

步骤(3)、将实时三维重建场景中单独的三维物体的体素模型进行三维语义检测和分割；

将步骤(2)获得的相互隔离的三维物体的体素模型放入到三维卷积神经网络中，进而快速和准确地实现实时三维语义分割的任务。

2.根据权利要求1所述的一种基于深度图的室内实时三维语义分割方法，其特征在于，步骤(1)具体操作如下:

该阶段首先对RGB-D相机采集到的深度图进行转换和预处理，首先将深度图的灰度值转换为以米为单位的浮点深度值，然后依据不同需求对深度图采用双边滤波处理，然后计算深度图对应的三维点云和每个点的法向量；

接着引入相机当前输入的顶点和法向量，以及从TSDF体素空间投影得到的模型顶点和法向量，使用ICP算法来计算两帧之间相机的位置和姿态变化，从而得到当前相机的位置和姿态；

然后将当前的深度图融合到已重建好的TSDF体素空间中，通过跟踪得到的相机位置和姿态，将当前深度相机所观测到的场景加权融合到TSDF体素空间中，使得历史观测帧和新的观测帧能够融合在一个三维模型中；

最后将TSDF体素空间中的表面投影到当前相机位置和姿态上，用于下一帧时刻相机位置和姿态的估计，通过光线投影法插值计算当前相机位置和姿态下的深度图像，并计算对应的顶点和法向量，作为下一帧跟踪相机姿态的输入；

初始情况下，通过获得的第一帧的RGB-D相机采集到的深度图和彩色图片直接生成TSDF模型；

该阶段实时的将深度图不断地融合到三维TSDF模型中，实现了实时三维稠密重建，为接下来进行平面检测和物体的语义分割提供了三维的TSDF模型。

3.根据权利要求2所述的一种基于深度图的室内实时三维语义分割方法，其特征在于，步骤(2)具体操作如下:

在当前帧中新重建出来的三维体素模型中，随机确定一个体素点P,并将其和其周围其他体素构成多个平面，再计算出这些平面各自的法向量；通过比较这些平面对应的法向量之间的夹角，得到这些平面的曲率，从而判断这些小平面是否构成一个大的平面；当两个平面的法向量之间的夹角小于2°时，则判定这两个小平面是在一个大平面内，同时设置并更新相应的平面ID，由此体素点开始，遍历整个新的三维重建的模型；当同一个ID的平面的面积大于设定阈值时，则判定该平面在该三维模型中是一个能够承载不同物体的平面，比如地面、桌面等，便不作为三维空间中具体物体的行列；将除组成承载不同物体的平面的体素外的其他的体素点，全部认为是物体的组成体素；

在遍历所有体素完成后，将所有的承载物体的平面的体素进行删除，此时空间中的所有物体都因为承载其的平面被删除了，每个物体都独自在一个三维空间中，此时再遍历所有体素，将此时还连接在一起的体素认为是同一个物体，即通过计算机图形学的方法将三维空间中所有的三维物体都单独隔离开。

4.根据权利要求3所述的一种基于深度图的室内实时三维语义分割方法，其特征在于，步骤(3)具体操作如下:

通过实施重建三维模型的平面检测阶段，能够得到各个分离开的三维物体的体素模型，然后将不同的三维物体模型分别放入到三维卷积神经网络中进行三维的特征提取，该三维卷积神经网络部分采用8层三维卷积网络，其中第一层三维卷积层的卷积核是2*2*2，步长为2，填充宽度为0，采用ReLU作为激活函数；第二层卷积核为1*1*1，步长为1，填充宽度为0，采用ReLU作为激活函数；第三层卷积核为3*3*3，步长为1，填充宽度为1，采用ReLU作为激活函数；第四层卷积核为1*1*1，步长为1，填充宽度为0，采用ReLU作为激活函数；第五层卷积核为1*1*1，步长为1，填充宽度为0，采用ReLU作为激活函数；第六层卷积核为3*3*3，步长为1，填充宽度为1，采用ReLU作为激活函数；第七层卷积核为1*1*1，步长为1，填充宽度为0，采用ReLU作为激活函数；第八层卷积核为2*2*2，步长为2，填充宽度为0，采用ReLU作为激活函数；得到三维模型的特征图(体)，然后将该三维特征经过三层全连接层，最终输出三维物体的物体类别；将通过三维卷积神经网络的三维物体的特征图(体)再通过一个全卷积层，对三维物体进行mask语义分割。