[发明专利]一种基于多模态融合的三维模型检索方法

说明书

本发明公开了一种基于多模态融合的三维模型检索方法，包括：将点云数据输入PointNet网络，将12张多视图图像输入MVCNN训练网络，将12张全景视图图像输入另一个MVCNN预训练网络；使用加入了关联损失和实例损失的损失函数对三个网络进行联合训练；将训练好的三个网络的输出特征向量进行统计加权融合，使用融合后的特征向量作为三维模型的最终特征向量，以用于后续的三维模型检索中。本发明充分利用不同模态间的相关性来提升模型标准的鲁棒性，进而得到更精确的模型检索结果，在三维模型检索和分类任务上更加准确和科学。

技术领域

本发明涉及多模态融合和三维模型检索领域，尤其涉及一种基于多模态融合的三维模型检索方法。

背景技术

计算机的出现催化了众多领域的蓬勃发展，特别是近年来软硬件技术的迭代升级迅速，使得借助计算机来完成复杂的三维模型数据构建、存储、分析愈发简单高效；加之互联网技术极大地推动了信息交流的效率，三维模型在生产活动中占据的比重越来越大，已然成为了继文本、声音、图像之后的又一大众传媒形式。三维模型拥有着更加丰富的细节表示，可以传达更多的信息，特别是三维模型对目标物体空间结构进行了直观描述，极大地增加了它的交互性，人们可以通过拉伸、旋转操作来改变模型的视角，从而获得感兴趣的信息。近年来计算机视觉领域的研究日新月异，三维模型数据采集和构建成本越来越低，使得三维模型得到了广泛应用，不仅推动了传统行业的技术革新，如机械制造^[1]、医疗成像^[2]、地质建模^[3]等，更催化了新兴行业的蓬勃发展，如3D打印^[4]、电商购物^[5]、影视娱乐^[6]等。目前三维模型已经与人们的生活生产密不可分。

另外随着互联网技术及大数据存储技术的迅猛发展，目前网络上存在有海量的三维模型数据，并且每天都在以指数的趋势增长着。在一项研究调查报告中^[7]曾指出，3D建模需求中，其实只有大约20％是需要完全重新设计的，剩下的80％完全可以在已有的相似模型上，进行二次开发或者组合多个模型来实现。而现有的三维模型的构建方式，或依靠成熟的建模软件，或依靠精密的三维扫描仪器和摄影仪器，构建高精度复杂模型依旧具有一定的时间成本和经济成本。因此，一个很有实践意义的问题就是，如何充分利用现有的海量模型数据，以快速的检索出相似的模型用于二次开发。如果可以解决这个问题，将会极大地减少建模工作量，可以将工作重心从繁琐而耗时的前期建模任务中解放出来，大大节省企业生产成本。

传统的三维模型检索方法主要是基于人工标注的，检索时主要依靠的是对模型标签内容的文本检索。这种检索方案技术实现简单，但是极易受到标注人员的主观影响，且标注工作会占用大量人力物力，特别是模型标签适用场景单一，当产生新的需求时，往往需要对标签进行修改，或者重新进行标注。

传统的三维模型检索方案由于检索精度低、可复用性差、标注成本高、开发周期长等特点，难以满足实际的生产生活需求。而基于内容的三维模型检索^[8]方案则关注于模型本身的纹理信息、空间结构、颜色分布等，通过特定的算法来将这些深层信息数据化。相较于传统检索方式，基于内容的检索方式有效地避免了人工的主观影响，可以充分利用模型本身包含的特征信息，检索结果更加客观。加之模型的特征向量计算可以借助图形处理器(Graphics Processing Unit，GPU)实现批量处理和全自动化处理，节省了大量人力物力，避免了重复劳动，更加适应实际生产活动的节奏。

三维模型检索目前面临的主要挑战为：

1)三维模型包含的信息量较大，如何将数据库中的模型进行描述，提取出区分度较高的特征，特征的质量将直接影响到检索的性能；

2)当前主流方法大多考虑的是单一模式，专注于从单一形式中获取特征向量，而忽略了多种表示模态之间的相关性，如何充分利用这部分忽略的信息以提高检索精度也是一值得深思的问题。

发明内容