[发明专利]基于RGB-D图像的室内场景布局估计及目标区域提取方法

说明书

本发明公开一种基于RGB‑D图像的室内场景布局估计及目标区域提取方法，包括：场景布局估计；利用基于图的分割算法与约束参数最小割算法对预处理后的深度图与RGB图做过分割，得到不同大小的区域集合；过分割层次分组，利用四种不同的相似度衡量方式进行区域合并以完成区域层次分组，获取所有尺度大小的目标区域；以及目标边界框匹配。本发明实现了室内场景的高效、高召回率的目标区域提取。

技术领域

本发明属于人工智能计算技术领域，特别是一种基于RGB-D图像的室内场景布局估计及目标区域提取方法，应用于室内服务机器人技术。

背景技术

室内场景解析的研究是国内外学者的研究热点之一，对于室内机器人语义定位和地图生成有着重要的应用价值，同时对于解决一些高级计算机视觉问题也有着非常重要的意义。目标分割与提取算法目的在于得到高质量的目标定位与实例分割结果，是场景解析的关键步骤之一。目标提取结果通常为目标候选区域或目标边界框，经过多年的发展，目标提取算法目前可分为两类：第一类是基于滑动窗口检测思想的算法，第二类是基于分割的算法，包含图像过分割与分割拼合策略。第一类算法比较经典的是DPM(Deformable PartsModel)目标检测算法，采用改进HOG特征和SVM分类器，对目标的形变具有很强的鲁棒性，但是这类算法计算代价较大，并且不能使用比较复杂的特征表示。

第二类算法中较为经典的是GBS(graph based segmentation)基于图的图像分割算法，该算法实现简单，速度较快，能够找出视觉上一致的区域，但是容易导致过分割；还有约束参数最小割的目标分割算法，该算法分割效果良好，但只包含前景分割区域。近些年由于深度传感器的普及，出现了大量包含深度图像的RGB-D图像数据集，研究者开始利用RGB-D数据集通过增加几何特征或深度信息来提升效果，但这些算法通常都为有监督算法，需要训练预先得到的轮廓模型，计算复杂度较大，虽然部分提高了目标提取的准确度，但是目标类别较少且召回率较低，并且检测时容易忽视平面区域物体。另外也有一些无监督的RGB-D目标提取与分割算法，计算速度较快，但对图像亮度变化、噪声等比较敏感，鲁棒性不高。

虽然目标提取算法在不断的发展，但是由于RGB图像纹理、颜色、亮度等特征的局限性，在应用于复杂的室内场景时，还是存在以下问题：1)遮挡问题，由于遮挡检测不到一些大目标；2)平面区域物体与小尺寸物体容易被忽视的问题，使得召回率偏低；3)计算复杂度较大，需要预训练，不适于实际系统应用；4)对图像中的不确定因素影响反应能力较差，鲁棒性低。

发明内容

本发明为了克服上述现有技术的不足，兼顾召回率与快速性，解决复杂室内场景下布局估计与目标提取的问题，提出了一种基于RGB-D图像的室内场景布局估计及目标区域提取方法，实现了室内场景的高效、高召回率的目标区域提取。

基于RGB-D图像的室内场景布局估计及目标区域提取方法，包括以下步骤，

步骤1、场景布局估计：将深度图转化为密集3D点云，通过计算点云间的三维欧式距离进行平面分割划分平面区域与非平面区域，并将所得平面区域进行分类，分为边界平面与非边界平面；

步骤2、图像过分割：利用基于图的分割算法与约束参数最小割算法对预处理后的深度图与RGB图做过分割，得到不同大小的区域集合；

步骤3、过分割层次分组：利用颜色、纹理、尺寸、吻合四种不同的相似度衡量方式进行区域合并以完成区域层次分组，获取所有尺度大小的目标区域；

步骤4、目标边界框匹配：对平面区域与非平面区域的目标，分为边界平面、非边界平面、平面区域中、非平面区域四种情况采取不同的策略匹配包含目标的最小矩形边界框，得到目标区域边界框。