[发明专利]一种基于多模态融合的三维模型检索方法

权利要求书

1.一种基于多模态融合的三维模型检索方法，其特征在于，所述方法包括：

1)对旋转后的三维模型使用蝴蝶细分算法进行表面细分，并从三维模型中提取出点云数据；

2)对旋转后的三维模型使用OpenGL工具，以30度角间隔对三维模型进行12个视角的视图渲染，获得12张多视图图像；

3)对旋转后的三维模型从xyz三个坐标轴方向上将三维模型投影到一个圆柱体表面，在每个坐标轴上分别获取4张全景视图，分别是三维模型空间分布图像、三维模型法线偏差图像、法线偏差图的梯度信息图像、上述三通道的堆叠图像，最后共可获得12张全景视图图像；

4)将点云数据输入PointNet网络，将12张多视图图像输入MVCNN训练网络，将12张全景视图图像输入另一个MVCNN预训练网络；

5)使用加入了关联损失和实例损失的损失函数对三个网络进行联合训练；

6)将训练好的三个网络的输出特征向量进行统计加权融合，使用融合后的特征向量作为三维模型的最终特征向量，以用于后续的三维模型检索中。

2.根据权利要求1所述的一种基于多模态融合的三维模型检索方法，其特征在于，所述方法在步骤1)之前还包括：获取旋转后的三维模型的步骤，具体为：

给定一个三维模型，计算它的质心并进行平移，使得质心与坐标原点重合；

对处理后的三维模型计算协方差矩阵，通过矩阵特征分解获得一组特征向量和特征值，对特征值进行降序排序并选择前三个特征向量作为新的主轴方向，获得一个旋转矩阵，通过旋转矩阵对三维模型进行旋转。

3.根据权利要求1所述的一种基于多模态融合的三维模型检索方法，其特征在于，所述步骤5)具体为：

将点云数据输入到PointNet网络中，将多视图模态数据、全景视图模态数据分别输入到不同的MVCNN深度网络中；

使用改造后的损失函数对网络进行联合训练，其中改造后的损失函数由判别损失、关联损失、实例损失三部分构成；

其中，代表模态M₁的判别损失，和分别代表M₁与模态M₂和M₃的关联损失，代表实例损失。

4.根据权利要求3所述的一种基于多模态融合的三维模型检索方法，其特征在于，所述关联损失具体为：

其中，f表示不同模态的特征向量，M表示模态，不同的下标表示不同的模态，ξ＝sigmoid(log(abs(.))，ξ用于归一化特征向量，sigmoid函数为机器学习的神经元激励函数，abs(.)表示求绝对值。

5.根据权利要求3所述的一种基于多模态融合的三维模型检索方法，其特征在于，所述实例损失具体为：

其中，

为特征向量分类为模型x_i的概率，α＝1，2，3。

6.根据权利要求1所述的一种基于多模态融合的三维模型检索方法，其特征在于，所述将训练好的三个网络的输出特征向量进行统计加权融合具体为：

其中，γ_i代表不同模态的权重，为对应模态下的特征向量，不同的下标i表示来自同一个三维模型的不同模态。