[发明专利]一种基于深度图的室内实时三维语义分割方法

说明书

本发明公开了一种基于深度图的室内实时三维语义分割方法。首先通过RGB‑D相机运用三维稠密实时重建的技术，来完成实时重建，得到三维稠密的TSDF体素三维模型；然后通过计算机图形学的方法来进行平面检测，通过实时的平面检测，将平面部分剔除后，三维模型剩下的就是各个独立的三维物体的体素模型；最后获得的相互隔离的三维物体的体素模型放入到三维卷积神经网络中，进而快速和准确地实现实时三维语义分割的任务。本发明方法分割的结果能更好的表现出物体的纹理信息，能够进一步直接使用在AR或VR场景中。更加的就有可解释性，同时也大大的降低了算力，能够实现实时的语义分割；更加适用于大场景的三维语义分割。

技术领域

本发明属于计算机视觉中的三维物体语义分割领域，具体涉及一种充分利用计算机图形学来提高三维语义分割的效率和准确率的一种方法，可以应用于三维稠密重建，动态重建，AR和VR领域。

背景技术

目前在三维空间中做语义分割，多是利用二维图像来做语义分割后投影到三维空间中来完成语义分割，或者是在三维激光雷达获得的点云图上直接进行三维语义分割，还有少部分的一些方法是通过RGB-D相机进行三维重建，将整个稠密重建的结果直接扔到一个端到端的三维卷积神经网络中进行语义分割。

其中，基于二维图像来做语义分割，将二维语义分割结果投射到三维空间来实现在三维空间中的语义分割的方法，虽然可以凭借二维分割来实现简单的三维语义分割，但是该方法中的二维图像自然的缺失了三维空间中的距离的维度，从原理上会导致三维分割精度不足的问题。同时该方法受限制于二维分割精度，二维的彩色图像在黑暗或强光场景时，二维分割结果往往会失效，使得三维分割效果进一步受到影响，所以使得该方法具有鲁棒性低和不能充分利用三维物体深度信息的局限性。

现阶段在无人驾驶领域中比较流行的方法是直接在激光雷达获得的三维的点云上进行深度学习，来完成语义分割的任务。该方法虽然进一步的利用了深度信息，但是无法利用物体的颜色信息，这使得该方法对于外形较为一致，但其他信息明显不同的物体的识别能力有明显的不足；同时该方法用来获得数据的激光雷达在造价上比较昂贵，并不适合于家庭市场上的推广，在应用场合有着一定的局限性；同时该方法中利用的点云数据很难将三维物体表面的纹理表现出来，也无法满足三维稠密重建领域、AR和VR领域中对分割效果的要求。

近年来，也有一些方法利用现有的三维重建技术，将三维重建的最终结果存储为体素或者三角面片等三维数据格式，再将整个三维模型作为输入，利用三维神经网络来对整个三维模型进行端到端的训练，完成三维语义分割的任务。该方法更进一步的利用三维物体的颜色和深度信息，同时也具有较好的三维物体纹理。但是该方法在三维场景模型逐渐变大的情况下，大量使用多尺度的三维卷积神经网络导致计算量急剧膨胀，同时方法中大量的使用三维的RPN，也大大加大了该方法的计算量，使得该方法不能直接应用实时的三维语义分割的任务中。

本专利发明了一种直接利用RGB-D采集到的信息进行室内实时三维语义分割的方法。

方案内容

针对现有技术中存在的不足，本发明提供一种基于深度图的室内实时三维语义分割方法。

本发明在实时重建的过程利用计算机图形学的方法能够实时地进行平面检测，通过对平面的检测，我们将室内场景中不同的三维物体进行空间上的分割，然后逐个对分离的三维物体分别进行物体识别和语义分割。该过程由于使用了平面检测的方法，大大的减少了三维卷积神经网络的使用，减轻了算力，实现了实时语音室内实时三维语义分割。

一种基于深度图的室内实时三维语义分割方法，包括步骤如下：

步骤(1)、基于RGB-D相机的实时稠密重建阶段；

通过RGB-D相机运用三维稠密实时重建的技术(FastFusion)，来完成实时重建，得到三维稠密的TSDF体素三维模型，为接下来的实时三维语义分割搭建好实时的三维模型。

步骤(2)、实时重建三维模型的平面检测阶段；