[发明专利]基于RGB-D的室内场景物体分割分类器构造方法

说明书

本发明公开了一种基于RGB‑D的室内场景物体分割分类器构造方法。通过采集室内场景的RGB模态图片以及同一位姿下的depth模态图片，然后依次提取RGB模态图片特征以及depth模态图片特征，依次对采集的RGB模态图片以及depth模态图片进行语义分析，对采集的图片中的每一个像素加上对应的类别标签，通过将提取的RGB特征和depth特征连接在一起，输入到一个嵌入了RPN模块的全卷积网络进行对室内场景的物体分割。本发明可以应用在室内场景的理解上，通过对当前捕获的场景进行有效的语义分割，可以有效的帮助室内机器人导航以及室内的实时重建。

技术领域

本发明属于计算机应用技术领域，具体涉及一种室内场景物体分割分类器构造方法。

背景技术

场景的感知与理解尤其是室内场景，其不同于室外场景利用RGB图像就可以很好的分割、检测等标注效果，对于室内场景，鉴于其复杂、多变等特点，很难仅利用RGB理解场景。室内场景的复杂性、多变性以及遮挡性是场景认知与理解领域中研究重点之一，该问题一直是是虚拟现实、人工智能、智能机器人与机器视觉亟待解决的问题。

物体检测是很多高级视觉任务、虚拟现实、增强现实等任务的必备前提，例如智能视频监控，基于内容的图像检索、机器人导航和增强现实等。有大量的研究人员提出了很多优秀的物体检测算法，例如基于AdaBoost的算法框架，使用Haar-like小波特征进行分类，然后使用滑动窗的方法对图像内的需要检测的物体进行定位，这个算法是第一个可以达到实时而且检测准确率还不错的目标检测算法。又如利用HOG特征，使用支持向量机(SVM)作为分类器进行行人检测。再如在深度神经网络流行起来之前最具影响力的多尺度形变部件模型 (DPM)算法DPM算法由一个根滤波器和几个部件滤波器组成，组件之间的形变通过隐变量进行推导，该算法继承了基于HOG特征的以及使用SVM的分类器的优点，但是由于该算法利用滑动窗的方式进行物体定位，另外需要人为指定组件个数已经组件之间的关系，因此使用起来困难重重。2012年之前目标检测的最优算法以及最好的结果都是基于DPM或者DPM的改进算法，2012年之后，随着AlexNet深度神经网络在图像识别的任务上大大超越了当时的经典工作，深度神经网络逐渐占据了计算机视觉、计算图形学各个领域。其中关于深度学习算法在目标检测上的开山之作是RCNN网络。该算法和经典的DPM算法存在着类似的缺点，由于需要重复性检测region，使得算法非常慢。为了解决 RCNN的缺点，后续研究人员将对region的特征提取的过程整合到了网络中提出了RPN网络，不需要对图片重复性的提取特征，节省了大量的时间，解决了之前RCNN利用selectivesearch算法提取region耗费大量时间的缺点。

场景语义分割属于一种像素级别的图片分类任务，即给定一副图片经过分割算法输出一张和输入大小一致的一副含有逐像素标签的图片。即给定样本中每个像素点的表达为其中xⁱ表示第i个图片，w×h表示的图片的大小，d指的是图片像素点的维度，经过图片语义分割算法，输出其中c∈{1，2，3,...,C}，表示的是每个像素属于类别C中的一种。由于图片中的像素具有关联性，在对其进行分割的时候需要考虑到变量之间的关系。

虽然物体的检测和场景的语义分割已经得到了很好的解决，但现有的工作主要解决室内场景中的物体定位问题或者解决室内场景中的物体语义分割问题，前者可以对提供室内场景中的粗尺度的语义信息即可以知道室内场景中的物体在室内场景中的大致位置，但是并不知道哪个像素属于当前的物体，后者提供较细尺度的室内语义场景信息，即可以为室内场景中的每个像素提供一个语义标签，但是室内场景中的类内物体不加以区分。因而，这两个单独的任务目前没有被很好的整合在一起，并不能为为室内场景的语义理解提供更好鲁棒的信息。

发明内容

本发明为解决同一个网络不能很好的提供室内物体的定位以及像素标签的问题，提出一种精细化的物体识别方法，即提出一种基于RGB-D的室内场景逐像素物体分割分类器构造方法，其方案如下：

一种基于RGB-D的室内场景物体分割分类器构造方法，包括如下步骤：