[发明专利]一种基于注意力机制的点云补全方法

说明书

一种基于注意力机制的点云补全方法，首先获取点云补全算法所需的数据集，将残缺点云送入编码器提取得到残缺点云的特征向量，再将特征向量送入解码器中，生成完整的点云；用生成点云和真实点云之间的倒角距离对生成的点云进行质量评估，作为损失函数指导更新神经网络参数；最后将实际扫描的点云数据送入训练好的编码器和解码器，生成完整的点云。本发明引入AGFA模块对已有几何结构进行特征提取，保证了补全后的点云形状的真实性和更好的细节结构，采用CGFA模块，在生成点云阶段，可以更好的参考前置粗略点云的特征，在低分辨率点云的基础上生成更高质量的高分辨率点云，补全后点云表面光滑，噪声点较少，符合真实点云的分布。

技术领域

本发明涉及一种三维点云数据的形状补全方法，特别是用注意力机制对残缺的点云形状进行补全的方法。

背景技术

在自动驾驶、机器人、遥感和医疗等领域，3D数据有着越来越重要的应用。随着数据采集技术的快速发展，人们对于3D传感器有着更为广泛的使用，其中包括各种类型的3D扫描仪、激光雷达和RGB-D相机(如Kinect、RealSense和Apple Depth相机)。三维数据通常可以用深度图像(depth images)、点云(point clouds)、网格(mesh)和体素(volumetricgrid)等数据格式表示。其中点云凭借其能保持三维空间原有几何信息的优势，成为许多三维场景理解任务(目标分类、目标检测、目标分割等)的首选数据格式。然而，由于3D传感器视角和分辨率的限制以及干扰物的遮挡等原因，获取的点云往往是高度稀疏且残缺的点云，造成物体几何和语义信息的丢失，影响后续点云场景识别与理解工作的效果。因此，从残缺的点云中重构出完整的点云，即点云补全，如图1(a)、(b)所示，在实际应用中具有十分重要的意义。

传统的三维形状补全工作主要有几何规律补全和模板匹配补全两种方法(刘心溥,马燕新等.嵌入Transformer结构的多尺度点云补全[J].中国图象图形学报,2022,27(02):538-549)。几何规律补全方法中，Zhao等人利用平滑插值算法来补全三维形状中的缺失部分(A robust hole-filling algorithm for triangular mesh.Visual Computer23,987–997.2007,doi:10.1007/s00371-007-0167-y)。Mitra等人识别输入形状中的对称轴和重复结构(Symmetry in 3d geometry:Extraction and applications.inComputer Graphics Forum,32:1-23.2013,doi:10.1111/cgf.12010)，以便利用对称性和重复性规律进行形状补全。模板匹配补全方法中，Li等人通过将输入形状与形状数据库中的模型进行匹配以实现补全操作(Database-Assisted Object Retrieval for Real-Time 3D Reconstruction.Computer Graphics Forum,34(2):435-446.2015,doi:10.1111/cgf.12573)。这些传统形状补全方法要求输入必须是尽量完整的，即对形状的残缺度有一个较高的下限要求，并且对新物体和环境噪声的鲁棒性较差。

近年来，随着神经网络技术的发展和计算机算力的提升，基于深度学习技术的点云补全算法开始涌现，其主要分为基于体素网格的方法、基于点的多层感知机的方法和基于图卷积的方法三类。