[发明专利]一种基于子图匹配的室内场景对象语义标注方法

摘要

本发明公开一种基于子图匹配的室内场景对象语义标注方法，利用实例图建模待标注场景中对象间的上下文关系，利用知识图建模语义类别间的上下文关系，通过子图匹配算法寻找实例图对应的知识图子图，实现对象到语义类别的映射，为室内场景中的每一个对象提供语义标签。

主权项

1.一种基于子图匹配的室内场景对象语义标注方法，其特征在于，包括以下步骤：步骤1、在CPMC(Constrained Parametric Min-Cuts)算法的基础上，根据深度和外观线索，自底而上地生成独立的对象候选区域，然后拟合候选区域，生成长方体；步骤2、根据步骤1确定的训练集中的拟合长方体及其标注信息，统计对象级上下文语义，即“共现”、“邻近”、“之上”；步骤3、构建知识图/实例图所述知识图/实例图是无向图G＝(V，E，α，β)，V＝{v|v是场景中的拟合长方体}，E＝{(u，v)|u∈V，v∈V}，α：V→LV是节点标记函数，LV是语义类别标签，β：E→LE是边标记函数，LE是包含4个元素的向量，分别表示对象间的“共现”、“邻近”、“之上一”、“之上二”四种类型上下文关系；实例图中的取值为1或0，表示存在或不存在相应语义关系；知识图中表示相应语义关系的先验知识，其值是从训练场景集合中统计得到的，分别对应于四类上下文关系的统计概率步骤4、特征选择与SVM分类器训练用于描述三维长方体几何性质的参数包括：高度、较长的宽度、较短的宽度、水平纵横比、垂直纵横比、面积、体积、平行于墙、靠近墙和靠近地面；基于以上几何特征训练以RBF核(Radial Basis Function)作为核函数的SVM分类器，然后对类别分数按降序进行排序，并选择前h个分数对应的类别构建候选匹配集合，集合中的每个元素是实例图节点允许匹配的语义类别标签，定义RBF-SVM分类器，如(6)式： f ( x → ) = sgn ( Σ k = 1 n c k y k exp ( - | | x → - x k → | | 2 2 σ 2 ) - b ) - - - ( 6 ) ]]>其中，ck是权重，是第k个长方体的特征向量，n是训练集中长方体的总数，yk∈{1，-1}用来指示所属的类别，b是偏移，步骤5、子图匹配基于子图同构算法为分割对象分配标签，子图同构定义如下：令Gp＝(Vp，Ep，αp，βp)，Gt＝(Vt，Et，αt，βt)分别表示模式图和目标图，其中V是图中的顶点集，E是顶点之间的边集；如果存在一个双射函数f满足Vp→Vt；则称Gp子图同构于Gt；基于单个待标注场景构建的实例图即为模式图，节点是依据步骤1计算得到的拟合长方体，每个节点有h个依据SVM分类计算得到的候选语义标签，且每个标签关联一个分值，图中边的标记函数值是依据步骤2计算得到的上下文；目标图则是基于训练集中全部样本构建的知识图；修改UIImann算法的限制条件，允许匹配自环；放宽UIImann算法中边匹配的约束条件；基于打分函数选择得分最高的子图作为实例图的最佳匹配，将知识图子图中对象节点的标签分配给对应的实例图对象节点，使得αp(v)＝αt(f(v))，得到最终的语义标注。