[发明专利]一种基于超像素集的室内场景语义标注方法

说明书

一种基于超像素集的室内场景语义标注方法属于多媒体技术与计算机图形学技术领域，针对基于超像素特征或像素特征进行室内场景语义标注方法的语义特征提取自小尺度空间的局限。本发明先计算超像素特征，然后利用高斯混合模型基于超像素特征建模超像素集特征，并将其映射到希尔伯特空间，最后降维到欧式空间得到超像素集的特征表示。与以往方法不同，本发明针对与物体对象基本等量的空间(超像素集)提取特征，能更准确地表征物体对象以达到提高室内场景语义标注准确率的目标。

技术领域

本发明属于多媒体技术与计算机图形学技术领域，具体涉及室内场景语义标注方法。

背景技术

室内场景语义标注作为计算机视觉研究的一项必要工作，一直都是相关领域研究的热点问题。而由于室内场景存在大量语义类别、对象间互相遮挡、低层视觉特征辨识力较弱以及不均匀光照等问题，更使得室内场景语义标注成为图像理解中一个棘手且极富挑战的研究方向。室内场景语义标注是室内场景理解的核心问题，其基本目标是为给定室内场景图像或拍摄于室内场景的视频中的帧中的每一个像素稠密地提供一个预定义的语义类别标签，其在室内智能服务机器人、反恐排爆等多个领域都有很大的应用价值。随着数据获取手段的发展，目前室内场景语义标注使用的源数据大多为RGBD数据，标注过程中的特征表示基本单位为超像素或像素。

基于超像素的室内场景语义标注方法，以超像素为基本单位提取特征表示。Silberman和Fergus等人利用SIFT算子提取超像素特征，以一种反馈式前向神经网络作为判别分类器，通过条件随机场(CRF)概率模型进行上下文优化，在NYU V1数据集上获得了56.6％的语义标注准确率。同样基于NYU V1数据集，Ren等人利用多种类型的核描述子提取超像素特征，以Linear SVM作为分类器，根据超像素分割层次构建树状模型，然后将构建的树状模型与马尔科夫随机场(MRF)概率图模型相结合，在NYU V1数据集上获得了76.1％的语义标注准确率。Anran Wang等人在NYU V1数据集上，以图像Patch数据作为输入，采用了一种分层的联合优化框架进行特征学习与特征编码，并结合Linear SVM分类器，在NYU V1数据集上获得了63.28％的语义标注准确率。Salman和Mohammed等人基于表面、深度和全局几何特征提出了一种新的CRF概率模型，他们的方法在Ceiling、Wall等平面型类别对象上识别效果非常显著，在NYU V1数据集上取得了61.7％的语义标注准确率。

基于像素的室内场景语义标注方法，以像素为基本单位提取特征表示。SaurabhGupta等人在深度图中嵌入了像素点的离地高度、重心角度等信息，然后基于调整后的深度图与彩色图利用CNN进行特征提取完成逐像素标注，在40类的NYU V2数据集上获得了32.5％的语义标注准确率。Ankur Handa等人通过在SUNRGBD数据集上增加虚拟数据，基于RNN在深度图像上提取特征进行逐像素标注，获得了49.01％的语义标注准确率。Heng Fan等人采用多模态RNNs(MM-RNNs)网络结构分别在彩色图(RGB)和深度图(Depth)进行逐像素预测，然后将两者预测结果相结合作为最终的预测结果，在NYU V1数据集上取得了74.6％的语义标注准确率。

以上这些方法都是基于超像素或像素特征进行室内场景语义标注，而超像素和像素所在的空间与待标注物体所占有的空间有较大差异,如图1所示：一个超像素只是沙发所在图像区域的很小一部分，因此超像素或像素特征不能完全刻画物体对象的特征。

发明内容

针对基于超像素特征或像素特征进行室内场景语义标注方法的语义特征提取自小尺度空间的局限，本发明提出了一种基于超像素集的室内场景语义标注方法。与以往方法不同，本发明针对与物体对象基本等量的空间(超像素集)提取特征，从而能更准确地表征物体对象以达到提高室内场景语义标注准确率的目标。

本发明所提出的室内场景语义标注方法中：首先计算超像素特征，然后利用高斯混合模型基于超像素特征建模超像素集特征，并将其映射到希尔伯特空间，最后降维到欧式空间得到超像素集的特征表示。本发明提出的室内场景语义标注方法主要包括以下几个步骤：