[发明专利]一种基于复杂背景图像的三维模型跨域检索方法及系统

权利要求书

1.一种基于复杂背景图像的三维模型跨域检索方法，其特征在于，所述方法包括如下步骤：

步骤1)构建原始数据集D，所述原始数据集包括若干不同的三维模型M与具有复杂背景的图像I，所述原始数据集D以三元组T＝(I_A，M_pos，M_neg)表示，其中I_A表示作为Anchor的图像，M_pos表示与所述图像I_A同类的正类三维模型，M_neg表示与所述图像I_A异类的反类三维模型；

步骤2)对所述三元组T中的所述图像I_A进行预处理得到处理后的图像I′_A，对所述三元组T中的所述正类三维模型M_pos与所述反类三维模型M_neg分别进行投影处理得到所述正类三维模型投影视图组V_pos与所述反类三维模型投影视图组V_neg，再分别进行预处理得到处理后的正类三维模型投影视图组V′_pos与反类三维模型投影视图组V′_neg，得到处理后的三元组T′＝(I′_A，V′_pos，V′_neg)表示的标准数据集D′；

步骤3)针对所述处理后的三元组T′，构建跨域检索三元组深度网络模型N，所述跨域检索三元组深度网络包含3个分支网络，分别为1个图像精确特征提取网络N_I与结构相同、权值共享的2个三维模型分组视图特征提取网络N_M，其中所述图像精确特征提取网络N_I的输入为所述处理后的三元组T′中的所述处理后的图像I′_A，输出为图像特征向量所述三维模型分组视图特征提取网络N_M的输入分别为所述处理后的三元组T′中的所述处理后的正类三维模型投影视图组V′_pos与反类三维模型投影视图组V′_neg，输出分别为正类三维模型特征向量与反类三维模型特征向量

所述图像精确特征提取网络为包含注意力块的AlexNet网络，所述网络包含5个卷积层和3个全连接层，所述注意力块位于每两个前后连接的卷积层之间，由1个通道注意力模块和1个空间注意力模块串联组成；

所述三维模型分组视图特征提取网络以AlexNet网络的卷积结构为基础网络并包含分组子网络，所述三维模型分组视图特征提取网络包含AlexNet网络的全部卷积层共5个，在最后1个所述卷积层后连接所述分组子网络，在最后1个所述卷积层输出视图特征向量后，所述分组子网络将所述视图特征向量融合为组级特征向量、再将所述组级特征向量融合为形状级特征向量、最后将所述形状级特征向量融合为所述三维模型特征向量并输出；

步骤4)对所述图像特征向量所述正类三维模型特征向量与所述反类三维模型特征向量进行正则化处理，得到所述正则化后的图像特征向量所述正类三维模型特征向量与所述反类三维模型特征向量定义所述跨域检索三元组深度网络模型N的损失函数L；

步骤5)使用所述处理后的三元组T′，迭代训练跨域检索三元组深度网络模型N的参数，直至所述损失函数L小于设定阈值停止训练，得到已训练的跨域检索三元组深度网络模型N′，完成所述图像I_A与所述三维模型M的特征联合嵌入空间构建，所述已训练的跨域检索三元组深度网络模型N′包含3个已训练的分支网络，分别为一个已训练的图像精确特征提取网络N′_I与两个已训练的三维模型分组视图特征提取网络N′_M；

步骤6)执行检索任务时，给定查询图像q与目标三维模型集S，对所述查询数据q进行所述预处理得到处理后的查询图像q′，对所述目标三维数据集S中的每个目标三维模型S_i进行所述投影处理得到所述三维模型投影视图组SV_i，再进行所述预处理得到处理后的三维模型投影视图组SV′_i，将所述处理后的查询图像q′输入已训练的图像精确特征提取网络N′_I中，输出得到所述查询图像q对应的图像特征向量F_q，进行正则化处理后得到正则化后的图像特征向量F′_q，将所述处理后的投影视图组SV′_i输入已训练的三维模型分组视图特征提取网络N′_M中，输出得到目标三维模型S_i对应的三维模型特征向量进行正则化处理后得到正则化后的三维模型特征向量计算所述正则化后的图像特征向量F′_q与所述正则化后的三维模型特征向量之间的距离D(q，S_i)，以所述距离D(q，S_i)衡量所述查询图像q与每个所述目标三维模型S_i之间的相似度并降序排序，选择若干排序靠前的目标三维模型S_top作为与所述查询图像q相似的检索结果并输出。