[发明专利]基于LSTM网络多模态信息融合的三维模型检索方法

权利要求书

1.一种基于LSTM网络多模态信息融合的三维模型检索方法，其特征在于，包括如下步骤：

1)对给定的每个三维模型，使用OpenGL工具分别提取每个三维模型按旋转角度顺序排列的若干张视图；

2)对于从每个三维模型提取出来的若干张视图，采用多任务多角度的方式提取出骨架特征，由骨架特征得到三维模型的结构化信息；

所述的采用多任务多角度的方式提取出骨架特征向量，是采用多任务的网络并行结构使用VGG 16网络，同时完成骨架像素点的定位和骨架尺度的估计，具体是：

(1)利用VGG 16网络的一组尺度相关的旁路输出信息，来定位视图中的骨架像素点的位置；

(2)利用VGG 16网络另一组旁路输出信息来预测和估计视图中的骨架的尺度；

(3)根据骨架像素点的位置和骨架的尺度提取出骨架特征向量G，表示为：

其中是形式地表示所述骨架特征向量提取过程的一个函数；

3)对于从每个三维模型提取出来的若干张视图，提取出视图特征向量，并输入到一层LSTM网络结构中去，得到若干张视图的具有时间连续性信息的特征向量；

4)判断是否还要继续提取其他特征向量，是则提取其他特征向量后进入下一步骤，否则进入下一步骤；

5)将骨架特征向量和经过一层LSTM的视图特征向量相连接构成新的特征向量，并输入到第二层LSTM网络结构中去，融合两种不同模态的特征向量，得到若干张视图本次融合后的具有加强的时间连续性信息的特征向量；

6)判断是否还有待融合的其他特征向量，有则将得到的最近一次融合后具有加强的时间连续性信息的特征向量与所述的其他特征向量中的一种特征向量相连接，再次构成新的特征向量，输入到下一层LSTM网络结构中去，融合两种不同模态的特征向量，得到若干张视图的本次融合后的具有加强的时间连续性信息的特征向量；没有则进入下一步骤；

7)将最近一次融合的输出作为每个三维模型的最终的特征向量Q，结合相似性度量方法，完成最终的每个三维模型的检测过程。

2.根据权利要求1所述的基于LSTM网络多模态信息融合的三维模型检索方法，其特征在于，步骤1)所述的提取每个三维模型按旋转角度顺序排列的若干张视图，包括：

(1)首先使用NPCA的方法分别对每个三维模型数据进行归一化处理，保证三维模型的方向出与设定的方向一致，三维模型的尺度在设定的大小空间内；

(2)使用OpenGL工具提取三维模型的视图时，以Z轴为旋转轴，每隔设定角度的旋转角度提取一张视图。

3.根据权利要求1所述的基于LSTM网络多模态信息融合的三维模型检索方法，其特征在于，步骤3)具体是使用预训练的VGG 16网络结构，完成从每个三维模型提取出来的若干张视图的视图特征向量的提取；所提取出的视图特征向量F，表示为：

F＝{f₁,f₂,…,f₁₂},f_i＝φ(v_i),f_i∈R⁴⁰⁹⁶

其中φ(·)是形式地表示所述视图特征向量提取过程的一个函数。