[发明专利]一种基于草图检索三维模型的跨模态检索方法

说明书

本发明公开了一种基于草图检索三维模型的跨模态检索方法，包括步骤：1)数据集选取；2)对数据集中的三维模型数据进行渲染，一个三维模型得到多个二维视图，这些二维视图用来表示三维模型，草图数据统一尺寸成256×256；3)训练草图分类器和视图分类器；4)构建深度度量学习空间：以原始数据集中的草图和视图作为网络的输入，将草图和视图分类器得到的参数作为网络的参数，通过训练达到检索目标。本发明以视图作为中介，尽可能缩小三维模型与草图的语义差距，构建了一个新颖的草图检索三维模型的网络结构，在SHREC2013和SHREC2014上取得了非常好的分类准确率，实验结果充分表明，我们的网络框架完全可以通过草图检索到对应的三维模型。

技术领域

本发明涉及跨模态检索的技术领域，尤其是指一种基于草图检索三维模型的跨模态检索方法。

背景技术

近年来，由于三维模型具有较强的视觉刺激性和更广的应用场景，三维模型数据呈爆发式增长。随着三维扫描、三维打印等技术的发展，人们可以更高效地获取三维数据。为了帮助用户轻松获取所需的三维模型，并且能够对三维模型进行复用与共享，三维模型检索技术已经成为计算机图形学的热门话题。

触屏设备和手写设备的广泛普及以及表情包的流行，使得人们开始尝试用手绘草图来代替文字或语言进行抽象表达。通过草图，用户可以更加快速准确的表达自己的想法，输入的随意性和创造性也得到了极大的施展。手绘草图作为一种方便快捷的交互方式可以更好的表达用户的查询意向。与基于关键字和基于样例方式相比，草图是一种更适合三维模型检索的交互方式。尽管基于草图检索的方法具有方便和容易获取的优点，但它仍然存在很多棘手的问题。首先，草图和三维模型属于两种不同的模态，而不同模态的特征遵循不同的分布规律所以二者存在很大的语义鸿沟。其次，草图线条比较简单且同一物体的不同表达也不尽相同。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于草图检索三维模型的跨模态检索方法，以视图作为中介，尽可能缩小三维模型与草图的语义差距，利用三维模型的多个视图来表征三维模型的信息，构建了一个新颖的草图检索三维模型的网络结构，在SHREC2013和SHREC2014上取得了非常好的分类准确率，和当前最好的方法相当，实验结果充分表明，我们的网络框架完全可以通过草图检索到对应的三维模型。

为实现上述目的，本发明所提供的技术方案为：一种基于草图检索三维模型的跨模态检索方法，该方法是以三元网络为基本结构，训练跨域的分类器，不断缩小跨域模态之间的差异，提高检索精度，其包括以下步骤：

1)数据集选取

数据集选用标准的SHREC2013、SHREC2014数据集，每个数据集包括三维模型数据子集和草图数据子集；

2)原数据集预处理

对数据集中的三维模型数据进行渲染，一个三维模型得到多个二维视图，这些二维视图用来表示三维模型，草图数据统一尺寸成256×256；

3)训练草图分类器和视图分类器

对于草图分类器，将二维视图通过边缘提取转换成草图，以原始草图为anchor，转换得到的草图划分为正例和负例，送到三元网络中训练，以网络的参数作为草图分类器的输出；

对于视图分类器，将原始草图通过GAN网络转换成视图，以这个视图为anchor，三维模型的视图划分为正例和负例，送到三元网络训练，以网络的参数作为视图分类器的输出；

4)构建深度度量学习空间

以原始数据集中的草图和视图作为网络的输入，将草图和视图分类器得到的参数作为网络的参数，通过训练达到检索目标。