[发明专利]基于LSTM网络多模态信息融合的三维模型检索方法

摘要

一种基于LSTM网络多模态信息融合的三维模型检索方法，对给定的三维模型，提取三维模型按旋转角度顺序排列的若干张视图；采用多任务多角度的方式提取出若干张视图的骨架特征，由骨架特征得到三维模型的结构化信息；提取出若干张视图的视图特征向量，输入到一层LSTM网络结构中；看是否还要继续提取其他特征向量；将骨架特征向量和经过一层LSTM的视图特征向量相连接构成新的特征向量，输入到第二层LSTM网络结构中去进行融合；看是否还有待融合的其他特征向量，有则再次构成新的特征向量，输入到下一层LSTM网络结构中去进行融合；将最近一次融合的输出作为三维模型的最终的特征向量Q，结合相似性度量方法，完成最终的三维模型的检测过程。

主权项

1.一种基于LSTM网络多模态信息融合的三维模型检索方法，其特征在于，包括如下步骤：1)对给定的每个三维模型，使用OpenGL工具分别提取每个三维模型按旋转角度顺序排列的若干张视图；2)对于从每个三维模型提取出来的若干张视图，采用多任务多角度的方式提取出骨架特征，由骨架特征得到三维模型的结构化信息；3)对于从每个三维模型提取出来的若干张视图，提取出视图特征向量，并输入到一层LSTM网络结构中去，得到若干张视图的具有时间连续性信息的特征向量；4)判断是否还要继续提取其他特征向量，是则提取其他特征向量后进入下一步骤，否则进入下一步骤；5)将骨架特征向量和经过一层LSTM的视图特征向量相连接构成新的特征向量，并输入到第二层LSTM网络结构中去，融合两种为不同模态的特征向量，得到若干张视图本次融合后的具有加强的时间连续性信息的特征向量；6)判断是否还有待融合的其他特征向量，有则将得到的最近一次融合后具有加强的时间连续性信息的特征向量与所述的其他特征向量中的一种特征向量相连接，再次构成新的特征向量，输入到下一层LSTM网络结构中去，融合两种为不同模态的特征向量，得到若干张视图的本次融合后的具有加强的时间连续性信息的特征向量；没有则进入下一步骤；7)将最近一次融合的输出作为每个三维模型的最终的特征向量Q，结合相似性度量方法，完成最终的每个三维模型的检测过程。