[发明专利]一种基于子图匹配的室内场景对象语义标注方法

权利要求书

1.一种基于子图匹配的室内场景对象语义标注方法，其特征在于，包括以下步骤：

步骤1、在CPMC(Constrained Parametric Min-Cuts)算法的基础上，根据深度和外观线索，自底而上地生成独立的对象候选区域，然后拟合候选区域，生成长方体；

步骤1具体为：

步骤1.1、自底而上生成三维区域候选

CPMC采用参数化最小分割方法从等间隔的种子中产生多个前景候选变量，总的目标是最小化能量函数，求得对应的像素标签，如(1)式：

arg min_X∑_u∈PC_λ(x_u)+∑_(u，v)∈εV_uv(x_u，x_v) (1)

其中，X＝{x₁，…，x_N}是像素标签，x_i∈{0，1}，x_i＝1表示像素i是前景像素，x_i＝0则表示像素i是背景像素，N是总的像素数量，P是包含全部像素的集合，ε是邻接像素之间的边；(1)式中的C_λ定义单一势能：

其中，是偏移，V_b是背景像素，V_f是前景像素，函数f定义为f(x_u)＝ln p_f(x_u)-lnp_b(x_u)，p_f表示像素u属于前景的概率分布，p_b表示像素u属于背景的概率分布，(1)式中的成对项V_uv用来惩罚分配不同标签给相似邻接节点的情况：

两个邻接像素之间的相似性：gPb(u)是像素u属于对象分割边界的概率；

步骤1.2、拟合长方体

首先对CMPC算法得到的对象分数进行排序，非极大值抑制处理后，选择前k个候选区域，然后在每个候选区域上拟合三维长方体，生成候选长方体；

步骤2、根据步骤1确定的训练集中的拟合长方体及其标注信息，统计对象级上下文语义，即“共现”、“邻近”、“之上”；

步骤3、构建知识图/实例图

所述知识图/实例图是无向图G＝(V，E，α，β)，V＝{v|v是场景中的拟合长方体}，α：V→L_V是节点标记函数，L_V是语义类别标签，β：E→L_E是边标记函数，L_E是包含4个元素的向量，分别表示对象间的“共现”、“邻近”、“之上一”、“之上二”四种类型上下文关系；实例图中的取值为1或0，表示存在或不存在相应语义关系；知识图中表示相应语义关系的先验知识，其值是从训练场景集合中统计得到的，分别对应于四类上下文关系的统计概率P_t⁽ⁱ⁾；

步骤4、特征选择与SVM分类器训练

用于描述三维长方体几何性质的参数包括：高度、较长的宽度、较短的宽度、水平纵横比、垂直纵横比、面积、体积、平行于墙、靠近墙和靠近地面；基于以上几何特征训练以RBF核(Radial Basis Function)作为核函数的SVM分类器，然后对类别分数按降序进行排序，并选择前h个分数对应的类别构建候选匹配集合，集合中的每个元素是实例图节点允许匹配的语义类别标签，定义RBF-SVM分类器，如(6)式：

其中，c_k是权重，是第k个长方体的特征向量，n是训练集中长方体的总数，y_k∈{1，-1}用来指示所属的类别，b是偏移，

步骤5、子图匹配

基于子图同构算法为分割对象分配标签，子图同构定义如下：

令G_p＝(V_p，E_p，α_p，β_p)，G_t＝(V_t，E_t，α_t，β_t)分别表示模式图和目标图，其中V是图中的顶点集，E是顶点之间的边集；如果存在一个双射函数f满足V_p→V_t；则称G_p子图同构于G_t；

基于单个待标注场景构建的实例图即为模式图，节点是依据步骤1计算得到的拟合长方体，每个节点有h个依据SVM分类计算得到的候选语义标签，且每个标签关联一个分值，图中边的标记函数值是依据步骤2计算得到的上下文；目标图则是基于训练集中全部样本构建的知识图；

修改Ullmann算法的限制条件，允许匹配自环；放宽Ullmann算法中边匹配的约束条件；基于打分函数选择得分最高的子图作为实例图的最佳匹配，将知识图子图中对象节点的标签分配给对应的实例图对象节点，使得α_p(v)＝α_t(f(v))，得到最终的语义标注。