[发明专利]基于跨层级跨尺度跨注意力机制的目标处理方法及装置

说明书

本发明公开了一种基于跨层级跨尺度跨注意力机制的目标处理方法，包括：获取待处理目标的三维点云数据；以不同的采样频率对所述三维点云数据进行采样，得到不同尺度的子点云集；对每一个尺度的子点云集进行特征提取，得到每一个尺度下不同层级的层次特征；利用跨层级跨注意力机制的模型对所述每一个尺度下不同层级的层次特征进行特征处理，得到第一点特征图；利用跨尺度注意力机制的模型对所有尺度下的第一点特征图进行特征处理，得到第二点特征图；基于所述第二点特征图，对所述待处理目标进行分类或分割，得到分类目标或分割目标。本发明直接将原始三维点云作为方法输入，解决了基于视角和体素方法信息损失和计算代价过高的问题。

技术领域

本发明涉及人工智能领域，具体涉及一种基于跨层级跨尺度跨注意力机制的目标处理方法及装置。

背景技术

随着三维获取技术的快速发展，三维传感器和采集设备日益变得更加可用和廉价，常见的三维扫描仪包括：Kinect,RealSense等。相对于二维彩色图像而言，有这些设备获得的三维点云数据能够提供更加丰富的几何、形状和尺度信息。这使得三维点云成为一种刻画现实世界中任意形状物体的首选表征方法，其在诸如机器人学、自动驾驶和虚拟现实/增强现实等应用场景中扮演着越来越重要的角色。因此，如何有效地分析和理解三维点云数据成为了上述各种应用亟需解决的基础问题。

最近，深度学习技术以强大的离散卷积作为基本组成部分，能够在规整网格进行令人惊叹的表示学习，彻底改变了二维计算机视觉。这些出色的性能激励着越来越多研究人员开始关注深度学习技术在三维点云数据上的应用。然而，由于三维点云被认为是一种具有不规整结构的无序点集合，而卷积神经网络仅仅适合具有规整结构的数据，因此直接将针对图像处理的深度学习技术迁移到基于三维点云的任务是不合理的。

为了解决这个问题，早期的工作主要致力于讲不规整的三维点云数据转换成一种规整的中间网格表示。其中，基于视图的方法最开始的目标是通过将三维点云投影成具有不同视角的二维图像集合的方式将三维问题转换成二维问题。然后采用成熟的性能优越的二维卷积神经网络结构进行特征提取。最后，这些特征被聚合到三维空间。尽管这些方法在分类任务中取得了显著的性能，但是由于在投影过程中三维点云点之间固有的几何关系损失，导致这些方法无法进行分割人物。另一方面，视角数据的选择直接影响着最终任务的性能，因此，选择合适的视角数目是一个具有挑战性的问题。

作为另外一种选择，基于体素的方法尝试将离散的三维点投影至一个结构化的三维网格结构，比如说占据体素网格，然后可以采用三维卷积神经网络进行处理。然后内存消耗和计算需求的立方级的增长极大限制了其在高分辨率体素任务中的应用，同样也限制了三维点云体素表示的表达能力和效率。为了缓解这个问题，基于八叉树和kd树的方法被提出来用于性能优化。比如说，OctNet方法将分辨率提升到256³的级别。然后这些方法仍然遭受量化误差和细粒度信息的损失。

PointNet方法的出现带来了深度学习在三维点云处理的一种新趋势。这个网络直接以点的位置信息作为输入，采用共享的多层感知机独立地学习每个点的特征，最后通过一个通道最大池化操作讲这些特征聚合成为一个全局表示。该方法的一个主要的缺点是其无法捕获局部信息。PointNet++通过层次化结构考虑三维点云的局部信息来改进PointNet。但是，这些点的方法本质上将点独立地处理，而没有抓住它们长期的关联关系。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于跨层级跨尺度跨注意力机制的目标处理方法及装置，用于解决现有技术的缺陷。

为实现上述目的及其他相关目的，本发明提供一种基于跨层级跨尺度跨注意力机制的目标处理方法，包括：

获取待处理目标的三维点云数据；

以不同的采样频率对所述三维点云数据进行采样，得到不同尺度的子点云集；

对每一个尺度的子点云集进行特征提取，得到每一个尺度下不同层级的层次特征；