[发明专利]基于LSTM网络多模态信息融合的三维模型检索方法

说明书

一种基于LSTM网络多模态信息融合的三维模型检索方法，对给定的三维模型，提取三维模型按旋转角度顺序排列的若干张视图；采用多任务多角度的方式提取出若干张视图的骨架特征，由骨架特征得到三维模型的结构化信息；提取出若干张视图的视图特征向量，输入到一层LSTM网络结构中；看是否还要继续提取其他特征向量；将骨架特征向量和经过一层LSTM的视图特征向量相连接构成新的特征向量，输入到第二层LSTM网络结构中去进行融合；看是否还有待融合的其他特征向量，有则再次构成新的特征向量，输入到下一层LSTM网络结构中去进行融合；将最近一次融合的输出作为三维模型的最终的特征向量Q，结合相似性度量方法，完成最终的三维模型的检测过程。

技术领域

本发明涉及一种三维模型检索方法。特别是涉及一种基于LSTM网络多模态信息融合的三维模型检索方法。

背景技术

近年来，得益于相关技术的快速发展，三维模型的数量得到了井喷式的发展。一方面，深度相机的出现和发展使得通过采集现实世界来获得三维模型成为可能；另一方面，显卡和CPU性能的增强，以及三维建模软件的出现，使得虚拟建模的变得简单易行。此外，互联网的高速发展使得模型的传播变得更加简单和快速^[1]-[4]。鉴于此，三维模型在各行各业的应用越来越广泛^[6][7]。在实际使用的过程中，随着三维模型数据库逐渐增大，又由于三维模型数据的特殊性，人们想要从庞大的数据库中查找特定的模型变的越来越困难。为了解决从大规模数据库中检索三维模型的问题，研究人员提出了一些三维模型检索算法。

基于模型的算法：大多数早期的研究都使用基于模型的算法。提取形状描述符是基于模型方法的关键步骤。一般来说，基于模型的形状描述符可分为低级特征和高级特征两类^[8]-[10]。

代表性的低级特征包括模型的表面相似性^[11]、体积信息^[12]、几何矩^[13]、体素分布^[14]，他们都属于模型的拓扑信息或几何特征。典型的高级特征有球形谐波和矩^[15]、骨架特征^[16]、多边形网格，如三角形区域^[17]和Reeb图(RG)^[18]，这些特征主要分析三维物体各组成部分的结构关系。提取这些手工设计的特征描述符是基于模型的三维模型算法的最关键部分。一个可能可行的方法是在预先定义的三维体素网格上计算三维模型顶点的概率分布将其作为该三维模型的特征^[19]。Kazhdan等人提出的球形谐波描述符^[20]可以解决模型的旋转不变性问题。谢等人^[21]的方法是首先构建三维模型多尺度热核特征直方图，然后将该直方图输入到一个自编码器中。通过Pickup等人^[22]提出的经典多维标度法，可以逐步提高形状描述符的性能。另一方面，一些研究人员开始关注基于体素的三维模型表示。相较于传统上直接捕获整个三维物体的特征，徐等人^[23]首先将三维模型分割成若干层，然后将这些层投影到一个二值图像中提取特征，最后将来自不同层的特征结合起来作为最终的特征。此外，吴等人^[24]利用三维卷积网络学习基于体素的形状描述符。但是，基于模型的方法通常性能较差，处理速度较低。当处理复杂的三维模型时，速度和性能就成为实际应用的瓶颈。

基于视图的算法：基于视图的方法在最近的三维模型检索研究中很流行。通过用多张二维平面视图的方法描述三维模型，该方法将三维空间的信息特征提取和信息比较过程转化到二维平面上，从多视图二维图像描述三维对象。因此，它需要获取三维模型的多视角图像。