[发明专利]一种基于草图检索三维模型的跨模态检索方法

摘要

本发明公开了一种基于草图检索三维模型的跨模态检索方法，包括步骤：1)数据集选取；2)对数据集中的三维模型数据进行渲染，一个三维模型得到多个二维视图，这些二维视图用来表示三维模型，草图数据统一尺寸成256×256；3)训练草图分类器和视图分类器；4)构建深度度量学习空间：以原始数据集中的草图和视图作为网络的输入，将草图和视图分类器得到的参数作为网络的参数，通过训练达到检索目标。本发明以视图作为中介，尽可能缩小三维模型与草图的语义差距，构建了一个新颖的草图检索三维模型的网络结构，在SHREC2013和SHREC2014上取得了非常好的分类准确率，实验结果充分表明，我们的网络框架完全可以通过草图检索到对应的三维模型。

主权项

1.一种基于草图检索三维模型的跨模态检索方法，其特征在于，该方法是以三元网络为基本结构，训练跨域的分类器，不断缩小跨域模态之间的差异，提高检索精度，其包括以下步骤：1)数据集选取数据集选用标准的SHREC2013、SHREC2014数据集，每个数据集包括三维模型数据子集和草图数据子集；2)原数据集预处理对数据集中的三维模型数据进行渲染，一个三维模型得到多个二维视图，这些二维视图用来表示三维模型，草图数据统一尺寸成256×256；3)训练草图分类器和视图分类器对于草图分类器，将二维视图通过边缘提取转换成草图，以原始草图为anchor，转换得到的草图划分为正例和负例，送到三元网络中训练，以网络的参数作为草图分类器的输出；对于视图分类器，将原始草图通过GAN网络转换成视图，以这个视图为anchor，三维模型的视图划分为正例和负例，送到三元网络训练，以网络的参数作为视图分类器的输出；4)构建深度度量学习空间以原始数据集中的草图和视图作为网络的输入，将草图和视图分类器得到的参数作为网络的参数，通过训练达到检索目标。