[发明专利]一种基于异构孪生神经网络的三维模型草图检索方法

说明书

本发明涉及一种基于异构孪生神经网络的三维模型草图检索方法，包括以下步骤：S1：获取三维模型训练数据和草图训练数据；S2：利用两个模态独立网络别提取草图和三维模型的深度特征；S3：用一个模态共享网络将模态独立网络学习到的草图特征和三维模型特征映射到共享特征空间中；S4：利用训练完成的模态独立网络和模态共享网络提取查询草图特征和三维模型库中三维模型特征，进行草图和三维模型特征相似度计算并排序，得到检索结果。与现有技术相比，本发明具有有效克服跨模态差异性，网络设计简单易复现，为后续方法提高简单基线等优点。

技术领域

本发明涉及草图检索领域，尤其是涉及一种基于异构孪生神经网络的三维模型草图检索方法。

背景技术

现如今，三维模型的应用越来越广泛。例如建筑行业，利用三维模型模拟更加精准和直观的建筑模型。医疗行业，三维模型相对于二维图像更能精确地展示人体器官的构造，有助于手术进行和疾病分析。随着三维打印和三维扫描技术的发展，三维模型的获取也变得越来越简单。因此，近几年，三维模型的数量急剧增长。面对数量快速增加的三维模型，如何有效地进行管理就变成了一个关键的问题。如同二维图像的检索一样，三维模型的检索也是管理三维模型的一个重要的方面。如何快速，便捷，有效地检索三维模型成了计算机视觉和计算机图形学领域的一个热门研究。最常用的方法是基于文本的三维模型检索。它主要是对三维模型库里的三维模型进行文本标注。当输入检索关键字时，利用查询关键字和三维模型的标注进行匹配从而实现模型检索。该检索技术的优点是容易实现，技术门槛低。但是基于文本的三维模型检索有以下缺点：首先是目前大量的三维模型都是没有文本标注的，对这些海量的三维模型进行标注，需要消耗大量的人力资源。其次，文本信息大多时候很难直观地描述三维模型的检索需求。另外，近年来，人们开始研究基于实例的三维模型检索，该检索技术主要是利用三维模型去检索三维模型。输入的查询是一个实例的三维模型。该方法的优点是可以获得很高的检索精度，因为查询输入和待检索的模型库没有跨模态差异性。但是该方法的缺点也很明显，即人们大多时候是不具有查询输入的三维模型。

近年来，随着触屏技术的发展，手绘草图成为了一种便捷，直观的人机交互方式。例如，人们利用手绘草图去检索二维图像。在此背景下，基于草图的三维模型检索也越来越受到计算机视觉和图形学领域的关注。基于草图的三维模型检索具有以下优点：首先草图的获取相对于实例三维模型更加容易，尤其是智能手机和平板产品的出现，使得草图的获取更加便捷。其次，草图相对于文本可以更加直观地描述人们的检索需求。人们可以很直观地描绘一些细节上的需求。

现有技术中，初期基于三维模型草图的检索方法主要依赖人工设计的特征进行。另外，随着深度学习在计算机视觉领域的应用，各种深度学习方法也被应用在基于草图的三维模型检索中，主要分为两个方向：一方面是设计更加复杂的网络模型，方便更好的特征提取以及特征表示，另一方便是对损失函数的改进，设计越来越复杂的损失函数，损失的函数的设计的目标都是尽量使同类别的草图和三维模型聚集，不同类别的草图和三维模型尽可能分离。

这些深度学习方法有两个缺点：一方面是由于网络和损失函数设计的局限性，这些方法不能有效地减小跨模态差异性，检索的精度低。另一方是随着损失函数和模型网络的不断改进，这些深度学习方法变得越来越复杂，对于后续的三维模型草图检索工作来说，没有一个容易复现、改进和比较的基线。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于异构孪生神经网络的三维模型草图检索方法。

本发明的目的可以通过以下技术方案来实现：

一种基于异构孪生神经网络的三维模型草图检索方法，包括以下步骤：

S1：获取三维模型训练数据和草图训练数据；

S2：利用两个模态独立神经网络分别提取草图和三维模型的深度特征；

S3：利用一个模态共享网络将模态独立网络学习到的草图和三维模型的深度特征映射到共享特征空间中；