[发明专利]基于RGB-D的室内场景物体分割分类器构造方法

摘要

本发明公开了一种基于RGB‑D的室内场景物体分割分类器构造方法。通过采集室内场景的RGB模态图片以及同一位姿下的depth模态图片，然后依次提取RGB模态图片特征以及depth模态图片特征，依次对采集的RGB模态图片以及depth模态图片进行语义分析，对采集的图片中的每一个像素加上对应的类别标签，通过将提取的RGB特征和depth特征连接在一起，输入到一个嵌入了RPN模块的全卷积网络进行对室内场景的物体分割。本发明可以应用在室内场景的理解上，通过对当前捕获的场景进行有效的语义分割，可以有效的帮助室内机器人导航以及室内的实时重建。

主权项

1.一种基于RGB‑D的室内场景物体分割分类器构造方法，其特征在于：包括如下步骤：步骤一、对室内场景采集RGB模态图片以及depth模态图片；步骤二、统计RGB模态图片和depth模态图片中包含的物体种类，然后对图片中的每一个像素进行类别标记；步骤三、将采集的RGB模态图片输入到嵌入RPN模块的全卷积网络中的RGB子网络中，同时将采集到的depth模态图片输入到RPN模块的全卷积网络中的depth子网络中，同时对RGB模态图片和depth模态图片进行特征提取，分别得到RGB子网络输出的特征frgb以及depth子网络输出的特征fdepth。步骤四、定义RGB‑D损失函数将RGB子网络和depth子网络连接在一起构建一个RGB‑D多模态网络结构用以训练一个基于RGB‑D的室内场景物体分割逐像素分类器classifierrgbd；步骤五、在网络推理的阶段，将测试样本RGB‑D数据按照数据模态分别输入到训练好的RGB‑D多模态网络中，RGB子网络对输入的RGB模态图片提取frgb，depth子网络对输入的depth模态图片提取fdepth，将提取的两种模态特征拼接在一起，输入到逐像素分类器classifierrgbd中进行室内场景物体的检测与分割。