[发明专利]基于二维图像检索对应三维模型的方法及装置

说明书

本申请公开了一种基于二维图像检索对应三维模型的方法及装置。所述基于二维图像检索对应三维模型的方法包括：获取待检索二维图像以及检索二维图像特征；获取数据库，其包括多个二维图片以及多个三维模型；获取每个二维图片的特征及获取每个三维模型的特征；建立关系图；根据所述关系图，通过多头注意力方法构造多个全连接图；根据全连接图生成嵌入图；将多个嵌入图进行融合生成唯一嵌入图；对待检索二维图像特征与唯一嵌入图中的每个表示三维模型的节点进行相似度比较，获取相似度最高的节点，输出相似度最高的节点所对应的三维模型。本申请充分考虑了2D图像和3D模型之间的相关性，弥合两种不同信息检索方式之间的差距。

技术领域

本发明涉及三维模型检索技术领域，具体涉及一种基于二维图像检索对应三维模型的方法以及基于二维图像检索对应三维模型的装置。

背景技术

随着深度学习方法的发展，3D模型检索已成为计算机视觉领域的热门话题，由于其与各种应用程序（例如计算机辅助设计、医学诊断、生物信息学、3D视觉显着性、3D打印、数字娱乐等）的紧密联系而受到了研究者的广泛关注。

3D模型数量的激增使得对高效的3D模型检索算法产生了巨大需求。同时，随着智能手机的发展，人们可以很容易地获得2D图像。因此，在给定2D图像的情况下，检索3D模型正成为一种更方便的搜索方式，该方法也已应用于许多应用中，包括高性能的自动驾驶汽车、多视图3D对象重建、VR / AR内容生成等。

通常，3D模型检索方法可以大致分为两类：基于模型的方法和基于视图的方法。基于模型的方法直接处理3D模型的原始表示，该原始表示由体素、多边形网格和点云组成。Klokov等人[17]提出了KD网络，它可以处理非结构化的点云，并使用kd-trees在点云的细分上计算检索任务。Wang等[1]提出了用于点云特征学习的动态图CNN（Dynamic Graph CNN，DGCNN），提出的EdgeConv模块可以合并本地邻域信息，并且可以堆叠应用以学习全局形状属性。 De等[2]提出了一种用于点云分析的有效的有损编码解决方案，基本层的基于八叉树的方法和增强层的基于图的变换方法都在其编码解决方案中使用。

基于视图的方法通常使用一组视图来表示3D模型的视觉和结构信息。徐等[3]提出了一个名为Neighbor-Center Enhanced Network的基于视图的模型，使用其相邻视图增强每个2D视图。在该提出的网络中，通过利用交叉视图相关性，最大程度地合并了相邻视图，获得用于有效描述3D模型的增强2D表示。He等人[4]提出了视图N元语法网络（View N-gram Network，VNN），有效地将3D模型的多视图表示聚合为信息丰富和区分性强的模型，VNN可以捕获多个视图之间的空间信息，学习每个3D模型的判别式全局嵌入。

三维模型分类和检索目前面临的主要挑战为：

1）由于三维模型包含的信息量较大，如何将数据库中的模型进行描述，提取出区分度较高的特征；

2）在保证分类和检索准确度的同时还要考虑计算时间和空间复杂度的问题，目前很多的三维模型检索工作只是单纯的增加训练网络的深度，缺乏更有效的算法。

因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述缺陷。

发明内容

本发明的目的在于提供一种基于二维图像检索对应三维模型的方法，来克服或至少减轻现有技术的至少一个上述缺陷。

本发明的一个方面，提供一种基于二维图像检索对应三维模型的方法，所述基于二维图像检索对应三维模型的方法包括：

获取待检索二维图像；

根据所述待检索二维图像获取待检索二维图像特征；

获取数据库，所述数据库内包括多个二维图片以及多个三维模型；

根据每个所述二维图片获取每个二维图片的特征；