[发明专利]一种基于神经网络化的联合三边滤波器用于深度图超分辨率重建方法

说明书

本发明提供一种基于神经网络化的联合三边滤波器用于深度图超分辨率重建方法，包括获取低分辨率深度图和高分辨率彩色图，采用渐进式上采样方式构建神经网络模型，并分别提取低分辨率深度图的深度域特征、提取高分辨率彩色图的颜色域特征；采用联合三边滤波模块以内容感知的方式融合颜色域特征和深度域特征；基于联合三边滤波模块的变体，实现从低分辨率到高分辨率和从高分辨率到低分辨率的跨尺度深度域特征的双向融合，并利用融合结果更新高分辨率深度图的深度域特征；应用更新后的深度域特征重构形成高质量深度图。本发明具有良好的鲁棒性和优越性，并且能够减少误差，提高获得的高分辨率深度图的质量。

技术领域

本发明涉及图像处理的技术领域，具体的，涉及一种基于神经网络化的联合三边滤波器用于深度图超分辨率重建方法。

背景技术

随着RGB彩色图像和深度图像组成的RGB-D数据在虚拟现实、三维重建和SLAM等领域的广泛应用，深度图已经可以通过消费级深度传感器实时采集。然而，传感器的生产成本较高，获取的原始深度图分辨率低、噪声干扰强，远远不能满足应用需求。因此，对低质量的深度图进行重建与增强成为其在深度图应用过程中必不可少的一部分。

在实际应用中，针对低分辨率的原始深度图，对图像进行较大尺度的上采样是迫切需求，例如进行八倍及八倍以上的采样。然而，单一深度图超分辨率重建会在上采样尺度较大的情况下，导致重建结果的细节和局部结构发生扭曲或丢失。为提高算法性能，研究人员提出从高分辨率的彩色图或强度图中提取信息，以指导深度图超分辨率重建任务。现有的一些研究中，联合双边滤波器及其变体，例如联合三边滤波器，基于彩色图边界和对应的深度图边界具有一致性假设，采用指数函数计算各邻域像素的卷积核权重。该卷积核权重随像素位置的变化而变化，能够自适应地融合了颜色指导信息，重建了高质量深度图边界。

传统的基于滤波的深度图超分辨率重建方法是在数字图像处理的经典滤波理论基础上发展起来的，该方法根据局部平滑先验独立计算每个像素的深度值。基于颜色边界和深度边界一致的假设，研究人员显式设计了各种预定义函数计算局部窗口内的卷积核权值。该方法主要的流程如下：(1)将低分辨率深度图和相应的高分辨率彩色图作为目标域和指导域，引入非线性联合双边滤波器；(2)基于联合图像坐标与颜色的测地距计算卷积核权值，其在边缘保持方面表现出更好的性能；(3)考虑到上述假设不成立的情况，一些研究人员提出了联合深度图的梯度和空间等信息，以减轻纹理拷贝的伪影；(4)在局部图像块内建立颜色梯度和深度梯度之间的线性关系；(5)根据最小损失值选择最佳深度候选值来细化深度图；(6)提出通过L1范数优化的联合直方图的最大值确定最优深度值。虽然基于滤波的方法可以自适应地调整每个像素位置的颜色指导信息，但基于预定义卷积核函数的浅层模型不能描述彩色图像与相应深度图像之间的细粒度相关性。

近年来，由于深度神经网络较强的模型表达能力，其在颜色指导的深度图超分辨率重建任务中取得了显著的进展，并占据主导地位。在颜色域特征的指导下，深度神经网络通过监督学习的方式，隐式地学习从低分辨率到高分辨率深度图的映射函数。与传统方法相比，基于深度神经网络的方法性能有了巨大的提升。不同研究人员提出了多种实现方法，包括：(1)通过融合多尺度颜色指导特征，逐步对低分辨率深度域特征进行上采样。(2)提出了通过学习的方式获得多尺度卷积核；(3)采用局部和全局残差学习技巧提高训练的鲁棒性；(4)提出了通过深度神经网络学习马尔可夫随机场的保真度和正则化先验；(5)提出了一种特殊模块自适应地分解RGB图像中的高频成分以指导深度图重建；(6)提出了通过仿射变换层减轻纹理拷贝的伪影。上述深度神经网络方法在测试阶段总是通过通道拼接融合颜色指导特征，卷积核的权重由每个通道中的所有位置共享，且独立于输入。

为了在测试过程中能够自适应地调整颜色指导信息，不同研究人员提出了多种实现方法，包括：(1)提出了渐进的多分支聚合网络，并引入通道注意力机制融合拼接在通道维度上的跨域特征；(2)设计了深度神经网络模拟传统的联合三边滤波器，构造两个子网络分别提取颜色和深度域特征并通过通道拼接实现融合；(3)利用在特征上预定义的函数生成传统卷积核的注意力。