[发明专利]一种基于PointCloudTransformer的多尺度优化网络方法

说明书

本发明涉及一种基于PointCloudTransformer的多尺度优化网络方法，本发明所述多尺度优化网络包括3部分，第1部分为采样层，对输入点云进行一个特征采样。第2部分为，多尺度优化结构，含有不同尺寸卷积的线性激活层。其中每个卷积层后面连接batchnorm和ReLU，对采样后的点使用不同卷积尺度的线性激活层进行复合特征提取，然后与原输入进行拼接。第3部分为同尺寸卷积的线性激活层，该层主要是对第2部分输出的数据特征进一步的特征提取，作用类似于全连接层。通过实验对比发现，本发明构建的网络结构实验精度高，三个含有不同卷积尺寸的线性激活层结构提取特征强，实验效果较为理想。

技术领域

本发明属于3D点云分类领域，它主要是应用于三维物体检测应用，是针对具有三维信息设备提出的一种深层神经网络。3D点云分类，是通过各自在三维物体中所反映的不同特征，把不同类别的目标区分开来的3D点云处理方法。它利用计算机对点云信息进行定量分析，把三维物体生成的每个点或点形成的区域划归为若干个类别中的某一种，以代替人的视觉判读。

背景技术

在深度学习的发展背景下，2D图像的分类应用已经相当成熟，被普遍应用于人们日常生活中，但随着需求的增加，我们发现2D图像的分类的精度和视觉效果并没有3D点云的好。3D点云分类，相比2D图像分类，具有更丰富的特征信息，如包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等。

目前深度学习的大体发展趋势，是通过更深和更复杂的网络来得到更高的精度，然而这些更深更复杂的网络通常在模型的大小以及运行速度上不占优势。现实生活中的应用，如自动驾驶、测绘等，他们本身对网络的要求较高，就更需要一种、低延迟、高精度的网络模型。

Transformer是Google团队在17年6月提出的NLP(自然语言处理)经典之作，该网络提出的attention注意力机制后来被广泛运用在图像处理中，取得了较好的效果。在技术的不断发展中，3D点云领域也出现了注意力机制。PointCloudTransformer是一种新的基于Transformer的点云学习框架。与原来的Transformer网络不同的是，该网络采用隐式拉普拉斯算子和归一化改进的Self-attention自注意力机制见图1。从图1可以看出Self-attention自注意力机制主要通过网络学习到的Q,K值进行Softmax+Norm操作(归一化处理)得到权重与V值进行加权处理，最后与原始输入进行一个相对坐标特征的提取后经过线性激活层输出。由图可知，该自注意力机制的输入输出结构(N×d)都是一样，这就极大的方便了自注意力机制加到深度学习网络的任意层结构中。但是现有的PointCloudTransformer网络中的自注意力机制对特征的提取存在不足。

发明内容

在构建模型的时候，通过选择一种新型的多尺度网络结构来构建效果更好的模型。本发明主要是对3D视觉应用方面神经网络的优化，在PointCloudTransformer网络的基础上，对网络注意力模块进行一些优化和改进，提高网络的准确率。在同一数据集，不同网络的对比测试中，本发明所得到的结果较为理想，在精度上与其他模型相比都有较好的表现。

为了达到上述目的，本发明所设计的技术方案是：一种基于PointCloudTransformer的多尺度优化网络方法，以PointCloudTransformer网络为基础，结合当前比较优秀的网络结构，对原网络注意力机制部分进行改造。具体结构见图2。(本网络为了便于说明，将第一维度的B，即batchsize省略。)该结构使用具体步骤如下：

步骤1，由于使用的pytorch框架进行训练，需要将特征维度提前才能进行卷积，所以将输入到该结构的N×d点云数据进行一个维度变换，转换为x(d×N)作为输入，来适合进行卷积操作。

步骤2，将转换后的输入分别输入到不同卷积尺度的线性激活层(LBR),然后进行拼接操作，线性层使用的是一维卷积进行，其中的操作过程如下，