[发明专利]一种框架细节增强的深度学习点云补全方法

说明书

本发明公开了一种基于框架细节增强的深度学习点云补全方法，通过充分利用形状框架和细节之间的相互联系来更好地进行点云补全。该网络包含了一个框架‑细节Transformer模块，其中包含交叉注意力层和自注意力层，以充分探索从局部细节到全局形状的相关性，并利用它来增强整体形状框架。本发明不仅能够增强点云补全的细节和整体的准确度。

技术领域

本发明属于点云补全领域，尤其涉及一种框架细节增强的深度学习点云补全方法。

背景技术

在日常生活中，人们通过手机、相机拍摄的照片和视频，以及在各大网站上看到的各类视频，都是以2D数据形式呈现在人们眼前。然而在现实生活中，所有的物体都是以3D形式存在于这个世界，2D数据仅是3D数据通过投影之后的一种表现形式。所以，如果想要进一步对真实世界场景进行模拟和理解，3D数据的获取往往必不可少。3D数据相较于2D数据有两个明显的优势：1）区别于2D数据只能表示固定视角下的画面，用户可以从各个不同的视角对3D数据进行观察。2）3D数据更有利于使用者同数据进行交互，如其在3D游戏和虚拟现实的应用。

因此，3D数据目前越来越受到人们的重视，其在各个领域都具有广泛的应用。随着增强及虚拟现实技术的发展，这些技术对于3D数据的需求也日益增加。增强现实和虚拟

现实中往往需要知道场景中物体的比例和位置，以便提供逼真的视觉效果，并实现对场景的更高层次的理解。例如，必须知道场景几何形状才能进行让虚拟的3D人物行走在桌子上，而不会直接穿过这些物体。同时，在机器人领域同样需要对周围的3D环境进行感知和理解，例如室内机器人需要能准确地将餐具放回餐桌。在自动驾驶领域，对于周围环境需要有更加准确的理解，以保证驾驶过程中的安全性，通常会采用2D和3D协同感知的方式，其中对于3D环境的感知和理解是及其重要的一环，例如自动驾驶过程中需要准确判断出周围物体在3D世界中的体积和移动速度等。除此之外，3D数据在医学图像中逐渐受到人们的重视，早期医学图像主要通过对2D图像进行研究和分析，随着3D建模技术的发展，通过对3D医学影像进行分析能够更加准确地获悉患者的情况。

既然三维数据如此重要，那么如何对三维数据进行获取也自然成为人们关心的重点问题。

随着3D传感器技术的不断更新和发展，低成本3D传感器相继问世，如微软推出的Kinect\cite{smisek20133d}以及英伟达公司推出的RealSense\cite{keselman2017intel}。相较于以前通过2D图像进行重建或手工建模的方式，通过3D传感器来获取3D数据变得越来越方便和容易，这也成为促进三维视觉快速发展的一个重要因素。同时，近年来许多移动智能手机也适配了深度传感相机，如2020年发布的两款iPhone都配有ToF深度相机，华为公司研发的P40、P40 pro，三星发布的S20+、S20 Ultra也都搭载了ToF深度相机模组，以便更好地进行增强现实应用并优化相机成像的效果。

另一方面，点云往往是3D传感器获得的数据的直接表现形式。如通过激光扫描仪得到的点云，可通过设备直接获得扫描得到的各点的3D坐标。又如深度相机虽然是以2D深度图的形式进行表现，但其往往会根据相机参数对2D深度图进行投影，最终同样以点云的形式在3D空间呈现。

然而，通过3D传感器扫描得到的3D点云数据的质量往往不尽人意，而这主要有以下几点原因：首先传感器在移动时，由于跟踪（Tracking）会不断累计误差，导致最终输出的3D模型也存在几何误差；其次3D传感器分辨率有限，导致扫描得到的数据不够密集。除上述两个原因外，更重要的一个原因是在扫描过程中往往物体之间存在遮挡，而这也导致了扫描得到的模型往往都是不完整的。通过传感器扫描得到的不完整3D物体模型往往很难被直接应用到后续的任务如增强现实、自动驾驶中，因为不完整的模型会导致不够准确的场景信息理解，直接影响到任务最终的成败与否。因此，如何能够对扫描得到的3D物体进行有效的补全，成为目前3D视觉领域一大重要的研究问题。