[发明专利]优化PointNet对于复杂场景的识别方法

说明书

本发明公开了一种优化PointNet对于复杂场景的识别方法。本方法提出用金字塔池化模块优化PointNet在复杂场景中的识别能力。将经过PointNet处理后得到的特征向量接入金字塔池化模块。金字塔池化模块能改善复杂场景解析中的开放词汇对象和填充识别的性能。利用全局文本信息基于不同区域的上下文聚合的能力。我们的全局先验表示对于在场景解析任务中产生高质量结果是有效的，对于复杂场景解析金字塔模块为整体场景解释提供了良好的描述，知识图依赖于场景上下文的先验信息，而金字塔池化模块能够聚合不同区域的上下文信息,从而提高获取全局信息的能力。因此金字塔模块的加入能让对于在三维空间中的对象分类，部分分割和语义分割等任务具有更高的准确度。

技术领域

本发明属于图像检索领域，涉及一种优化PointNet对于复杂场景的识别方法。

背景技术

随着互联网及深度学习的快速发展，我们对二维图像已经有了大量研究，但是对于3D点云，任然对我们是一个挑战。3D点云数据是一种无序的点集，典型的卷积结构需要高度规则的输入数据格式，所以我们要将将这些数据转换为常规3D体素网格或图像集合(例如视图)，然后将其提供给深网络体系结构。然而，这种数据表示变换使得得到的数据不必要地大量增加。同时引入了可以模糊数据的自然不变性的定量化伪像。PointNet网络直接将点云作为输入并输出整个输入的类标签或输入的每个点的每个点段/部件标签。从这一点上来说，PointNet具有极其重要的意义。在处理一些复杂场景的识别任务中，先验信息有着至关重要的地位。例如：不匹配的关系语境，由于缺乏可靠性选择的背景信息可能会造成预测错误，若提前告知当前语境则可以很容易避免该错误。不显眼的类场景包含任意大小的对象，这些细节对于复杂场景的识别也很重要，在没有先验信息的辅助下可能无法解析出细节的对象。总结这些观察结果，许多错误与不同接收领域的背景关系和全球信息部分或完全相关。因此，具有合适的全局场景级先验的深度网络可以大大提高场景解析的性能。金字塔池化模块(pyramid pooling module)能够聚合不同区域的上下文信息,从而提高获取全局信息的能力。为了结合合适的全局特征，我们引入了金字塔场景解析模块(PyramidPooling Module)。

发明内容

本发明的目的是对于PointNet在复杂场景中的识别能力的优化，PointNet能够很好的处理三维空间中的点云数据，但是由于PointNet只捕获由度量空间点引起的局部结构，限制了它识别细粒度图案和泛化到复杂场景的能力。基于此，提出了PointNet网络与金字塔池化模块(Pyramid Pooling Module)相结合的方法，优化PointNet网络对于复杂场景中的识别能力。

本发明解决其技术问题所采用的技术方案如下：

步骤1、将原始的点云数据输入到PointNet网络中，并将点云数据的n个点的三维点云作为输入，即：

N1＝3×n；其中，N1为三维点云个数，n为点云数据中点的个数；

步骤2、对原始的点云数据应用第一次输入变换，通过一个3D空间变换矩阵预测网络T-Net(3)实现数据的对齐。对齐之后通过卷积层进行特征提取，对齐后的数据会以点为单位，通过一个共享参数的双层感知机模型(mlp)进行特征提取。

步骤3、对步骤2提取出的特征应用第二次输入变换，通过特征空间变换矩阵预测网络T-Net(64)实现特征的对齐。对齐之后通过卷积层进行特征提取，即同步骤2一样利用三层感知机(mlp)进行特征提取，得到维度为1024的特征。

步骤4、把提取出的特征在特征空间的维度上进行最大池化聚合，提取出点云数据的全局特征向量图。

步骤5、将提取出的全局特征向量图输入到金字塔模块中，为了充分获取全局信息，对输入的全局特征向量图进行全局平均池化处理，获取处理后的全局特征向量图。