[发明专利]一种基于子图匹配的室内场景对象语义标注方法

说明书

本发明公开一种基于子图匹配的室内场景对象语义标注方法，利用实例图建模待标注场景中对象间的上下文关系，利用知识图建模语义类别间的上下文关系，通过子图匹配算法寻找实例图对应的知识图子图，实现对象到语义类别的映射，为室内场景中的每一个对象提供语义标签。

技术领域

本发明属于多媒体技术领域，尤其涉及一种基于子图匹配的室内场景对象语义标注方法。

背景技术

室内场景对象语义标注是室内场景解析的核心任务之一，其基本目标是为对象层次的分割区域提供语义标签。在语义标注领域，室内场景语义标注因为其内在的固有属性(即，存在大量的语义类别，物体间存在遮挡以及视觉特征缺乏较强辨识能力等问题)，受到了越来越多的关注。与目标识别关注特殊前景对象不同，语义标注需要一次性处理场景中的所有对象，并将对象分成若干类。研究表明在室内场景语义标注中引入对象级别的上下文先验，有助于提高语义标注的准确性。根据是否利用对象级别的上下文先验，室内场景语义标注方法大致可分为两类，一类是上下文无关的语义标注，一类是上下文相关的语义标注。

上下文无关的语义标注方法首先提取待标注区域的特征表示，然后基于特征表示利用分类器计算语义标签。常用分类器包括：决策树、朴素贝叶斯、人工神经网络、KNN(K-Nearest Neighbour)、SVM(support vector machines)等。决策树是非参数的，所以不需要担心离群点和数据是否线性可分，例如，决策树可以轻松处理这种情况：属于A类样本的特征x取值往往非常小或者非常大，而属于B类样本的特征x取值在中间范围。决策树的主要缺点是容易过拟合。朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率，但实际上并非总是如此。这是因为朴素贝叶斯模型假设属性之间相互独立，而这个假设在实际应用中往往是不成立的。人工神经网络虽然具有分类准确度高，并行分布处理能力、学习能力和鲁棒性强等特点，但是需要大量的参数(如，网络拓扑结构、权值和阈值的初始值)，不能观察学习过程，输出结果难以解释。KNN是一种简单有效的分类方法，重新训练的代价较低，该算法适用于样本容量比较大的类域的自动分类，而对于样本容量较小的类域，采用这种算法容易产生误分。相对的，SVM可以解决小样本情况下的机器学习问题，提高泛化性能，解决高维和非线性问题，避免神经网络结构选择和局部极小点问题。关于复杂分类器，Couprie等采用一种多尺度卷积网络，从场景图像中非监督地学习特征描述子。分类器可以为每个像素进行语义标签推断并将推断结果融合至超像素中，获取非监督的图像语义标注结果。该方法的缺点在于需要大量的模型训练时间。关于简单分类器，P Guo等提出一种优化SVM分类器用于图像语义标注，将用于优化训练集的基于近邻传播算法的LVQ(Learning VectorQuantization)技术和用来训练SVM的一些代表性特征向量相结合。该方法不仅满足了SVM的小样本特性，而且大大加快了训练和标注过程。

上下文相关的语义标注在以上方法的基础上兼顾待标注区域间的语义关系，其中有大量的相关研究工作采用了MRF(Markov random field)和CRF(conditional randomfield)概率图模型进行上下文建模。基于MRF，Ren等提出了一种语义标注性能较为优越的室内场景语义标注方法。该方法充分利用超像素区域层次化结构来构建树状模型，并将树状模型与MRF概率图模型结合，使用已训练的1-vs-all线性SVM分类器，为RGB彩色图像中的每一个超像素赋予语义类别标签。MRF是一种生成模型，必须先得出变量的概率模型参数，再进行推断任务。由于需要考虑观察变量y和标签变量x的概率分布问题，这本身就是一个非常困难的问题。当我们的兴趣点在于标签而不是原始像素y的分布时，并没有必要花费资源考虑y的概率分布问题。CRF便是在这一点的基础上提出的一种判别式无向概率图模型。Xiong等扩展传统二维视觉中的网格CRF模型到三维空间，充分挖掘和利用任意三维对象之间的空间上下文信息，如平行、正交、邻接和共面，并根据四类几何标签(墙壁，地板，天花板，杂物)标记室内场景。