[发明专利]一种基于高层语义属性理解的手绘交互式三维模型检索方法

权利要求书

1.一种基于高层语义属性理解的手绘交互式三维模型检索方法，其特征在于：在低层特征和高层语义类别之间定义一个语义属性层，语义属性主要描述了某类对象的一些抽象属性，同一语义类别的对象一般都含有相似的语义属性，因此利用语义属性有效地识别手绘草图所归属的类别，首先，利用数据驱动的方式提取出不同风格和类别下手绘草图的语义属性，定义手绘草图的语义属性空间；其次，在所定义的语义属性空间的基础上，对数据库中的三维模型根据其对应的内容特征进行语义属性的自动标注；最后，通过构建语义属性树的方式将手绘草图的语义属性与数据库中三维模型的语义属性映射到同一个度量空间进行比较，若两者达到设定的相似度，则反馈三维模型的信息，完成检索，所述的语义属性包括全局语义属性和局部语义属性，全局语义属性表示三维模型或手绘草图的结构属性和功能属性，局部语义属性表示三维模型或手绘草图的细节属性，具体包括以下步骤：

(1)建立不同风格和类别的手绘草图训练样本库：定义X＝{x₁，...，x_D}为草图训练数据的D-维低层特征空间，Y＝{y₁，...，y_K}为其K-维的类别标签空间，语义属性空间A＝{a₁，...，a_M}；将语义属性学习问题表示为寻找一个映射过程，通过语义属性空间A将特征空间X^D映射到类别空间Y^K，即F：X^D→A^M→Y^K；

其中，语义属性空间A由全局语义属性A_g和局部语义属性A_l两部分构成，并通过手绘草图低层的全局特征和局部特征提取获得；

接下来将这两种语义属性进行结合，得到语义属性空间，并利用超限学习机来对语义属性空间中每个语义属性进行训练，分别预测低层特征属于该属性以及该属性属于各个类别的概率，在训练完成后能够用于根据训练所得到的分类器自动判断手绘草图所属的语义类别；

(2)将定义好的语义属性利用树状结构组织起来，构建一个语义属性树，并同时对检索数据库中三维模型的语义属性进行自动标注；选取数据库中一部分的三维模型作为训练样本数据，标记为种子模型，并根据已定义好的语义属性空间通过人工的方式标注好相应的语义属性；提取出训练样本库中种子模型的球形调和算子、傅里叶描述符和深度缓冲描述符这三种视觉内容特征，然后利用这些已标记好的三维模型训练得到一个二值分类器，该分类器的作用是对于每一个属性在输入的任意模型的视觉特征下预测出该模型存在该属性的置信概率；对于数据库中待标注的三维模型，计算其与训练样本库中种子模型的语义相似距离，并找出其中相似距离值最小的种子模型；

将三维模型标记为与其语义属性相似性最大的种子模型为同样的语义属性，并将其加入到训练样本种子模型中，重复以上过程进行迭代，直到数据库中所有的三维模型都标注完语义属性为止；实现数据库中三维模型的自动语义属性标注以后，再将这些三维模型根据其具有的语义属性标记到代表该语义的语义属性树的叶结点中；

(3)当用户在检索系统中输入了一幅手绘草图，检索系统首先根据分类器训练的结果判断草图所属的语义类别和语义属性，并提取出语义属性的关键词W将其定位到语义属性树相应的层数，同时计算W与该层所有结点的语义属性S在概念表达上的语义相似性，其语义相似性采用WordNet中所定义的语义概念来计算；

接下来，返回与手绘草图的语义属性W相似性大于某个阈值λ的所有结点，若这些结点不是叶子结点，则继续往下遍历，依次计算手绘草图语义属性W与子结点的语义相似性；如果手绘草图语义属性W与语义属性树中所有结点的语义相似性都小于阈值λ，则根据WordNet中概念之间的上下位关系和同位关系扩展手绘草图的属性关键词W，重新遍历语义属性树并计算其与结点之间的语义相似性；最后根据计算的语义相似性大小对语义属性树中的结点进行排序，并返回结点所对应的三维模型，这些三维模型作为检索结果输出给用户。