[发明专利]一种基于多模态特征融合的三维对象融合特征表示方法

说明书

本发明提供一种基于多模态特征融合的三维对象融合特征表示方法。本发明将三种模态的三维模型特征表示，都做了一个非常细致的实现和复现：三维模型的多视图特征表示、点云特征表示以及网格特征表示。对多模态三维数据进行了处理、增强和融合，并基于此提取出了三维对象的融合特征表示。本发明能实现非常优秀的多模态信息融合，实现更加鲁棒的三维模型特征表示，供给其他三维对象任务使用。

技术领域

本发明属于计算机图像及人工智能技术领域，提供一种融合了三维多模态信息且更加高效的三维对象融合特征表示形式。

背景技术

3D数据识别和分析是多媒体和计算机视觉领域的一个基础和有趣的领域，涵盖了从环境理解到自动驾驶的广泛应用。如何理解3D数据，例如识别3D形状，近年来引起了很多关注。随着深度学习的发展，各种深度网络被用于处理不同类型的3D数据：点云(PointCloud)，多视图(Multi-view)和体积(Volumetric)数据。虽然将2D卷积神经网络扩展到体积数据是自然而合理的，但这些方法具有较大的计算复杂性和数据稀疏性，使得难以处理高图像分辨率。相比之下，分析多视图数据或点云数据由于其更广泛的数据采集和存储来源，因此更加灵活并且报告了更好的性能。除了以上传统三维对象表示形式，另外有一种叫作“网格”(Mesh)的三维特征表示方法，在计算机图形设计及三维模型表示方面有重要的地位。3D形状的网格数据是顶点，边和面的集合，其主要用于计算机图形中以渲染和存储3D模型。网格数据具有复杂性和不规则性。复杂性问题是网格由多个元素组成，并且可以在它们之间定义不同类型的连接。不规则性是网格数据处理的另一个挑战，这表明网格中的元素数量可能在3D形状之间显着变化，并且它们的排列是任意的。尽管存在这些问题，但网格具有比其他类型数据更强的3D形状描述能力。在这种情况下，如何使用网格数据有效地表示3D形状是一项紧迫而具有挑战性的任务。

基于以上情况，即：1.三维模型的表示形式的多样化(多模态)。2.网格数据的特殊性。我们设计了一种融合了三维多模态信息且更加高效的三维对象融合特征表示形式，其中多视图“Multi-view”和网格“Mesh”是我们用于验证融合网络的核心的两类三维模态。

发明内容

针对现有技术的不足，本发明提供一种基于多模态特征融合的三维对象融合特征表示方法。本发明对多模态三维数据进行了处理、增强和融合，并基于此提取出了三维对象的融合特征表示。

一种基于多模态特征融合的三维对象融合特征表示方法,步骤如下：

步骤(1)、通过多视图神经网络处理多视图三维信息；

通过多个不共享权重的独立的CNN，分别输入多视图信息，再通过Max-pooling，将多个CNN的输出统一到一个输出上，追加判别器(即基于全连接层的非线性分类器)进行模型的分类。

首先将三维模型数据转化成多视图数据，具体方式是在三维模型的中间水平面上，绕三维模型一周均匀摆放12个摄像头，拍摄一组共12张图片作为三维模型的多视图表示。然后通过OpenCV或者Pillow图像处理工具将每张图片都调整成256x256像素大小，再进行随机的224x224大小的区块的裁切。将处理后的图像，分别输入多个CNN模型中，CNN模型的输入层接收这些数据，随后进行多层的卷积操作，即通过卷积后再卷积的形式，不断抽取特征。最后，多个CNN都输出相同尺寸的卷积特征，利用max-pooling操作将这些特征进行统一，具体的方式是在多个CNN的输出结果上，滑动pooling窗口，每个窗口都取各自的最大值作为这个窗口的计算结果，获得最终的全局多视图特征，通过判别器实现三维模型的分类，判别器采用基于全连接层的非线性分类器，本质上是一个多项式，但是每一项中间会增加非线性函数(如Relu函数)实现分类器的非线性。

步骤(2)、点云的特征提取网络；

基于经典的点云处理网络模型，对点云数据进行特征提，具体如下：