[发明专利]一种基于变换器神经网络的点云数据处理方法

说明书

本发明提供了一种基于变换器神经网络的点云数据处理方法。该方法包括：构建三维物体对称检测模型，通过检测物体对称面/轴获取输入的点云数据的对称点，将点云数据的投影平面转换为对称结构的旋转平移操作，得到多组数据据增强后的点云图数据；通过变换器网络模型提取多组数据据增强后的点云图数据的全局特征信息和局部特征信息，得到下采样后的点云数据；结合不同的目标任务需求，构建任务驱动的任务网络模型，将下采样后的点云数据输入到任务网络模型，得到目标任务结果。本发明有效结合三维物体对称检测模型与变换器网络模型，能够在提高下采样模型鲁棒性的同时，进而具有最小化目标任务精度损失的能力，提升下采样规模和目标任务的精确度。

技术领域

本发明涉及点云数据下采样技术领域，尤其涉及一种基于变换器神经网络的点云数据处理方法。

背景技术

变换器(Transformer)是于2017年由谷歌机器翻译团队的论文《Attention isAll You Need》所提出的新的深度学习框架。深度学习领域中的变换器具有编码器-解码器(encoder-decoder)结构，包含三个主要的模块：输入数据嵌入模块(input embedding)、位置编码模块(positional encoding)、自注意力模块(self-attention)。

轨道交通系统中的点云数据是由三维采集设备，如激光雷达、立体摄像头等，获取的在一个三维坐标系统中的一组向量的集合，其中每个点包含三维坐标，有些还包括颜色、深度和反射强度等信息。

轨道交通系统中获取的点云数据往往规模庞大，如单幅点云图的点云数量可达数十万至数百万之多，但是受限于时间、能耗等指标的制约，已有的嵌入式设备很难直接运行如此大规模的数据。与此同时，受到天气、道路颠簸、光照变化等影响，点云数据中常包含大量的噪声点，有可能严重影响数据的准确性，从而造成无人驾驶等依赖大数据规模的分析系统的精确度降低。因此在实际的点云数据处理系统中，常包含点云的下采样操作，即去除点云数据中的噪声点和冗余点。

数据增强包含一系列扩充已有训练样本的技术，这些技术主要分为两类：一类是传统的增强方法，如随机扩缩、旋转、抖动和平移等，另一类是基于深度学习的方法，如基于学习的训练样本迁移变换、部件重组等。应用数据增强技术的目的是扩充神经网络模型的训练样本数量，增加模型泛化性。

随着激光雷达等三维传感采样技术的发展，三维传感器在计算机视觉领域，尤其是自动驾驶、环境感知等方面发挥着越来越重要的作用。使用深度神经网络对三维点云所描述的物体或场景进行分类或分割已经成为领域内的热点问题。例如，在自动驾驶领域，车辆通常配备多个具有360°拍摄模式的三维传感器，以确保为深度神经网络捕获足够的冗余信息，使其更加准确和鲁棒。然而，以自动驾驶为代表的视觉任务对响应时间提出了很高的要求，大量未经处理的点云数据很难直接被使用，通常需要对三维点云数据进行下采样以降低数据规模、去除冗余和噪声点，从而加快运算、降低算力消耗。

目前，现有技术中的下采样方法主要分为传统方法与深度学习方法两种。传统的下采样方法以最远点采样和随机采样为代表。最远点采样的流程是以某一采样点作为起点，每次选择与其欧氏距离最远的点作为下一个采样点，如此重复操作直至选择完成总共K个取样点；随机采样则是从原始数据中随机抽取样本点，其采样策略不施加任何人为的意志。虽然传统方法可以有效降低点云数据的规模，并且一定程度下保证模型的输出精度，但是这种非任务驱动的下采样方式难以与后续的任务网络产生联系，忽略了下采样过程中对任务需求的考量，因此往往得到是次优的采样结果，难以在降低输入数据规模的同时最大程度地维持目标任务的输出精度。