[发明专利]基于多视图卷积神经网络的三维模型检索方法

说明书

本发明公开了一种基于多视图卷积神经网络的三维模型检索方法，所述方法包括：采用最大池化层合并多个视图特征，再用基于长短期记忆网络的注意力机制动态地计算特征矩阵每个位置的权重，将特征矩阵上的元素进行加权求和从而得到三维模型的特征，通过反向传播算法最小化损失函数学习到最优的权重矩阵；权重矩阵和注意力得分由神经网络自动更新，神经网络训练结束后，将特征进行加权求和，得到三维模型的最终特征描述符；神经网络通过隐藏状态输出单个三维模型的最终特征描述符，根据欧式距离算出与查询模型距离较近的数据库中的其他三维模型从而完成检索任务。本发明可以在视觉域和空间域中挖掘多个视图之间的上下文信息，所提取的三维模型特征也更具鉴别性与显著性，从而提高了检索精度。

技术领域

本发明涉及多视图三维模型检索领域，尤其涉及一种基于多视图卷积神经网络的三维模型检索方法。

背景技术

随着三维数据的爆炸式增长、三维重建技术^[1]的快速发展和三维设备的广泛应用，近年来三维对象检索^[2]和分类^[3]的重要性日益提高。三维模型在医学诊断、智能机器人、自动驾驶汽车等领域也有着广泛的应用。与文本和图像相比，三维对象^[4]不易处理，在互联网上存在着万亿个三维对象，如何有效地获取所需的三维对象成为一项重要且具有挑战性的任务。因此，如何实现快速有效的三维对象检索成为一个亟待解决的问题。

目前三维模型检索主要有两大类^[5]：第一类是基于文本进行三维模型检索，另外一类基于三维模型的内容检索。在第一类中，基于文本的检索算法通常做法是输入文本信息来搜索模型。由于文本所能承载的信息量过少，不能准确并充分的描述出三维模型的结构、纹理等关键性信息。第二类是基于内容的检索，基于内容的三维模型检索是针对模型的特征信息进行检索。一般步骤是：采用一些算法处理提取三维模型的拓扑结构^[6]、几何形状^[7]等特征，然后与数据库中其他模型的相关特征进行相似度计算。根据特征提取方式的不同，基于内容的三维模型检索可以分为基于模型和基于视图两种^[8]：而基于模型的检索要求每个三维模型必须具有清晰完整的空间和结构信息，这限制了基于模型检索的实际应用。近些年来，因为神经网络在图像领域的杰出表现，人们把视线转向基于视图的检索。三维模型检索领域目前面临的主要挑战为^[9]：如何挖掘出最具鉴别性的特征矩阵去描述三维模型。

基于视图的三维模型检索方法领域目前面临的挑战主要有两个方面^[10]：

1、多视图特征融合方式的选择，当通过二维卷积神经网络得到三维模型的多个视图特征后，如何去有效的将多个视图特征合并成为一个三维模型特征。

2、如何去挖掘三维模型多视图之间的相关信息，单个视图信息是有限的，而多个视图之间的上下文信息也是需要去探索的。

发明内容

本发明提供了一种基于多视图卷积神经网络的三维模型检索方法，本发明可以在视觉域和空间域中挖掘多个视图之间的上下文信息，所提取的三维模型特征也更具鉴别性与显著性，从而提高了检索精度，详见下文描述：

一种基于多视图卷积神经网络的三维模型检索方法，所述方法包括：

将每个三维模型沿着固定坐标轴垂直放置，将12个虚拟摄像机以θ＝30°为间隔围绕模型进行虚拟拍照，虚拟摄像机指向三维模型的质心后与地平面成30度的夹角，得到单个三维模型的十二个视图后，即可构成多视图模型数据库；

采用最大池化层合并多个视图特征，再用基于长短期记忆网络的注意力机制动态地计算特征矩阵每个位置的权重，将特征矩阵上的元素进行加权求和从而得到三维模型的特征，通过反向传播算法最小化损失函数学习到最优的权重矩阵；权重矩阵和注意力得分由神经网络自动更新，神经网络训练结束后，将特征进行加权求和，得到三维模型的最终特征描述符；