[发明专利]一种基于法向量和高斯权重约束的深度图像补全方法及系统

说明书

本发明公开了一种基于法向量和高斯权重约束的深度图像补全方法及系统，输入深度图像对应的彩色图像，通过结构预测网络将深度图像划分为平滑区域和结构区域；对平滑区域使用法向量预测网络输出法向量特征并构建法向量约束项；对结构区域使用高斯核在对应彩色图像中提取高斯结构权重，构成高斯约束项；结合法向量约束项和高斯约束项构建全局优化目标方程并加入缺失深度图像，构建数据约束项作为全局优化目标方程的输入数据；迭代执行全局优化目标方程，直到低于设定的提升率或达到最大迭代次数，输出深度图像补全结果。本发明不仅能够对内容严重缺失的深度图像进行数据补全，并且能够保证补全结果中结构的准确度和深度值的平滑度。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于法向量和高斯权重约束的深度图像补全方法及系统。

背景技术

深度传感器可以有效地提供三维场景中物体的结构与位置信息，其收集的深度数据在联合彩色图的辅助下能够对真实的三维场景进行重建和渲染。基于这一特性，深度传感器已经被广泛的应用在虚拟现实、增强现实、人机交互游戏、无人驾驶和机器人导航等三维感知应用中。现阶段主流深度传感器使用的三维感知技术主要为结构光技术、飞行时间技术和激光脉冲技术：结构光技术通过发射红外光线对物体表面进行扫描，根据光信号在物体表面的变化来计算物体的距离和结构信息；飞行时间技术通过红外光信号在发射器和接收器之间往返的飞行时间来计算测量点的距离信息；激光脉冲技术使用激光器发射穿透能力强的激光束，并通过雷达定位技术来准确定位光斑的位置，以此来获取测量点的距离信息。但由于这些技术仍处于不成熟阶段，对于光照、距离、折射率等真实环境因素的抗干扰能力较差，使得最终获取的深度图像中含有大量的内容缺失，若将此类缺失的深度数据用于三维场景重建中则会导致场景中物体结构的失真和缺失，这对于三维感知应用来说具有严重的影响。例如，搭载了低精度激光雷达的自动引导车常常由于深度数据的缺失而无法正确躲避小型障碍物。近年来，如何通过计算方法对深度数据进行预处理而补全出高质量的深度图像已经成为了三维计算机视觉领域亟待解决的关键问题之一。

现有的深度图像补全方法主要分为以下几类：一、借鉴于传统自然图像修补方法的补全方法。由于深度图像和自然图像的特性具有本质的不同，且深度图像的缺失状况通常要严重于自然图像，因此完全并准确地补全缺失深度数据对此类方法来说是困难的。二、融合多视角失真深度图像的补全算法。此类方法通过对同一场景中不同视角的深度图像进行采集，再通过数据配准和表面拼合算法将多视角失真图像重建为高质量的单视角深度图像。此类方法对深度图像的收集条件较为苛刻，且不适用于单幅缺失深度图像的补全任务。三、基于神经网络技术的补全方法。此类方法将大量的深度数据和引导彩色图像作为输入，使用神经网络技术进行特征提取和模型训练，最终通过拟合的网络模型对缺失的深度数据进行补全。此类方法依赖于缺失深度图像中的原始数据，当深度数据缺失严重时，该类方法的补全结果将会出现较大的误差。

深度图像通常由场景中的平滑区域和物体结构组成，现存的大量深度图像补全方法仅专注于平滑区域的深度信息补全，而忽视了深度补全结果中物体结构的准确度。例如，基于神经网络技术的补全方法作为目前主流深度图像补全技术，倾向于对已有的深度数据进行复制和插值，而物体结构相较于平滑区域通常只在场景中占据较小比例，从而导致该类方法的补全结果中存在大量失真结构信息。而结构信息对于三维场景中的物体重建至关重要，尤其是对于体感游戏等需要高精度三维结构的室内三维感知应用。因此，如何高精度地补全深度图像中的结构信息已经成为了深度补全问题的关键。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于法向量和高斯权重约束的深度图像补全方法及系统，能够在深度图像数据严重缺失的情况下，实现对深度图像的准确补全，克服现有深度补全工作中物体结构信息不准确的缺点。

本发明采用以下技术方案：

一种基于法向量和高斯权重约束的深度图像补全方法，包括以下步骤：

S1、输入深度图像对应的彩色图像，通过结构预测网络将深度图像划分为平滑区域和结构区域；