[发明专利]一种单张深度图点云场景语义补全的方法

说明书

本发明提供了一种单张深度图点云场景语义补全的方法，属于计算机视觉领域中的三维重建领域。该方法通过在深度图、深度分割图和点云相互投影的过程中转换视点修补漏洞，实现同时进行高分辨率点云补全和语义分割。本发明解决了场景语义补全问题中体素表现形式分辨率低、点云表现形式无法兼顾语义分割的问题，通过在三维点云上进行场景语义补全，可以同时恢复场景的高分辨率几何结构和语义信息细节；本发明基于单张深度图，可以同时完成三维点云补全和语义分割的任务；证实了语义信息和三维几何信息约束对点云场景语义补全的有效性。

技术领域

本发明属于计算机视觉领域中的三维重建(3D Reconstruction)领域，具体实现结果为室内场景的点云语义补全，特别涉及一种同时进行表面补全和语义分割的方法。

背景技术

三维重建中的语义场景重建任务是根据二维图像恢复三维场景并得到语义信息的过程。借助于深度信息，三维场景重建可以更加精确可靠。然而采集到的深度图往往因为遮挡和固定视点的原因并不完整，对局部深度图进行理解和重建变得至关重要。从早期的体素方法，到端到端的深度卷积神经网络架构，再到RGB与深度信息的融合，语义场景补全的方法随着深度学习的不断发展日益进步与完善。

但是这些方法重建出来的体素化场景分辨率低，原始场景的高频细节无法准确还原。为了解决该限制，一种体素引导的渐进视图补全方法被提出，以高分辨率点云的形式替代了体素表达。尽管重建效果可观，但仍有改进空间。例如，重建的三维点云没有提供任何语义信息；在二维补全阶段只关注全局上下文信息而忽略了局部信息；选取视点的奖励函数只考虑了二维补全效果而忽略了三维重建质量。

与点云场景语义补全方法相关的现有的方法主要包含语义场景补全、点云补全和点云分割等方法。

(a)语义场景补全

语义场景补全旨在生成一个从单视点观测到的以完整三维体素形式展现的的场景体积占据表示，带有语义标签，是几何补全的一个子任务。通常以单张深度图为输入，或辅以RGB图像，利用深度、几何、语义等信息，实现场景的语义补全。但这些方法都基于体积表示结果，分辨率低，场景表达受限，达不到点云能够实现的精细化效果。

(b)点云补全

点云补全的目的是从不完整的区域中推断出完整的几何体形状。围绕这个问题，许多基于学习的离线和在线方法被提出，点云补全在准确率、保真度和效率等方面有了较大的提升，缺失区域的几何结构也得以在一定程度上进行恢复。但这些方法仅解决了物体级别的点补全任务，在大规模的场景中并不适用。

(c)点云分割

点云分割是根据空间、几何和纹理等特征对点云进行划分，使得同一划分内的点云拥有相似的特征，是对二维图像域的扩展。通过卷积神经网络、多层感知机等诸多方案，可以实现精细化点云级别的语义分割效果。但是这些方法都以点云作为输入，通过不同的网络来直接处理三维点，不能实现从局部深度图产生带有语义标签的完整点云的效果。

发明内容

本发明的目的是针对单张深度图，通过在深度图、深度分割图和点云相互投影的过程中转换视点修补漏洞，实现同时进行高分辨率点云补全和语义分割的方法，适用于室内场景。为实现上述目的，本发明提出了一种受语义信息和三维几何约束的点云场景语义补全的方法，将全局与局部信息结合，二维与三维信息结合，通过给定单张深度图，来生成最终的点云场景语义补全结果。

本发明的技术方案为：

一种单张深度图点云场景语义补全的方法，该方法包括以下步骤：

步骤1：生成特定视点下带有语义标注的初始点云

1.1)基于给定深度图D₀和其对应的视点v₀，选用DANet作为深度图语义分割网络，来预测每个像素的语义标签，生成深度分割图S₀。