[发明专利]一种基于异构孪生神经网络的三维模型草图检索方法

权利要求书

1.一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，包括以下步骤：

S1：获取三维模型训练数据和草图训练数据；

S2：利用两个模态独立神经网络分别提取草图和三维模型的深度特征；

S3：利用一个模态共享网络将模态独立网络学习到的草图和三维模型的深度特征映射到共享特征空间中；

S4：利用训练完成的模态独立网络和模态共享网络提取查询草图特征和三维模型库中待检索三维模型特征，进行草图和三维模型特征相似度计算并排序，得到检索结果。

2.根据权利要求1所述的一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，所述的步骤S1具体包括：

S11：获取原始草图图像作为草图训练数据；

S12：获取三维模型的多个二维视角图作为三维模型训练数据。

3.根据权利要求1所述的一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，所述的步骤S2具体包括：

S21：构建草图深度卷积神经网络，将草图训练数据输入到草图深度卷积神经网络模型，获取草图深度特征；

S22：构建视角图深度卷积神经网络，获取三维模型训练数据的多个二维视角图的深度特征；

S23：将二维视角图的深度特征进行特征融合，得到三维模型深度特征。

4.根据权利要求3所述的一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，所述的视角图深度卷积神经网络包括参数共享的卷积神经网络，不同视角的二维视角图输入到不同的卷积神经网络中进行二维视角图的深度特征的提取。

5.根据权利要求1所述的一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，所述的步骤S3具体包括：

S31：构建一个模态共享网络；

S32：利用模态共享网络输出的深度特征以及类别信息构建基线损失函数；

S33：利用模态共享网络和基线损失函数，将模态独立网络学习的草图深度特征和三维模型深度特征映射到一个共享的特征空间中。

6.根据权利要求5所述的一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，所述的模态共享网络将模态独立网络学到的草图深度特征和三维模型深度特征从原始的各自独立的特征空间映射到一个模态共享的特征空间中，所述的基线损失函数L_B使具有相同类别信息的草图特征和三维模型特征在共享特征空间中对齐。

7.根据权利要求5所述的一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，所述的基线损失函数L_B的表达式为：

其中，f_i为模态共享网络输出的进入分类器特征，包括草图的深度特征和三维模型的深度特征；w_i为模态共享网络最后一层分类器的权重；表示对深度特征f_i进行归一化处理，表示对权重w_i进行归一化处理；soffmax表示softmax激活；函数c表示类别总数；T表示缩放因子，对进入softmax激活函数的z_i进行缩放，z_i表示特征与该类中心的得分，t为目标类别，i表示第i个类别。

8.根据权利要求5所述的一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，所述的模态共享网络包括多层全连接网络，所述的模态共享网络的输入是草图、三维模型的深度特征，输出是映射后的特征。