[发明专利]基于图像分解的单一深度图的超分辨率方法

说明书

本发明一种基于图像分解的单一深度图的超分辨率方法属于图像质量增强领域，致力于解决在实际场景拍摄中由于相机硬件配置低和环境干扰而导致低分辨率深度图的几何结构信息不准确问题，首先，通过深度对偶分解模块将单一低分辨率深度图分解成两个高分辨率的图像：高质量的精细结构图和粗糙结构图，同时提出深度图初始化增强模块来生成高分辨率的初始化深度图并将其作为深度图重建模块的输入；其次，在深度图重建模块中提出加权融合单元来实现多种特征融合，接下来，将这些融合特征输入到基于残差学习的深度图重建模块中，用来得到高质量的深度残差图，最后，将该残差图和高分辨率的初始化深度图逐像素相加，即可得到最终的高质量深度图。

技术领域

本发明属于图像质量增强领域，具体涉及一种基于图像分解的单一深度图的超分辨率方法。

背景技术

在各种计算机视觉任务的实际应用中，三维场景的深度信息发挥着极其重要的作用。例如，工业物件和商品的识别和抓取、自动驾驶和智能机器人导航都需要使用三维场景的深度信息。现如今，通过消费级别的相机如Kinect和TOF就能够很容易地捕获场景的几何信息。然而，这些信息总是存储为深度图，同时，这些相机拍摄到的深度图分辨率是有限的。拍摄到的深度图质量也会受到复杂自然场景环境和相机传感器敏感度的影响。一般情况下，只有低分辨率的深度图是可以被使用的。然而，这些图像质量并不能满足实际应用的需求。因此，应该深入地研究深度图的超分辨率技术，从而实现深度图的质量增强和深度图的分辨率增强。当只有深度信息可用时，单一深度图超分辨率的目的是将低分辨率的深度图转化为高分辨率的深度图。不同于联合彩色图的深度图超分辨率方法，单一深度图的超分辨率问题是一个更加具有挑战性的病态问题。这是因为单一深度图的超分辨率方法的输入仅仅是能够提供场景几何结构信息的低质量深度图像来实现深度图质量增强，但是无法使用场景其他的模态信息。一般来说，深度图超分辨率方法可以粗略地分为两类：传统的深度图超分辨率方法和基于深度学习的深度图超分辨率方法。

基于图像滤波的深度图超分辨率方法是一种典型的深度图超分辨率方法，例如，引导图像滤波器是一种快速并且是非近似线性时间滤波方法，该方法使用彩色图像作为一种引导信息实现深度图质量增强。为了渐进地提高深度图的精度，双边滤波器被迭代地应用到深度图超分辨率的代价聚合中，这里考虑了大多数物体表面是分段线性平滑的，并且具有相似彩色信息的同一物体像素往往也具有相似的深度值。虽然通过图像滤波技术能够很好地提高图像的质量，然而这些基于图像滤波的方法总是使用局部信息却没有考虑到图像的全局相关性。

另一种方式是利用一定的先验信息来构建目标函数并通过优化来得到优化解。马尔可夫随机场方法使用深度数据内容项和深度平滑先验项来构建深度图重建的目标函数，然后，通过迭代优化算法获得高质量的深度图。为了进一步实现图像高质量上采样，除了潜在的深度数据内容项和深度平滑先验项，还将非局部均值正则化项加入到最小二乘优化中。此外，还可以使用一般的全变分来对全局能量优化进行正则化约束。考虑到现有的彩色图和深度图之间的相关性，可以引入一个双模态共稀疏模型来解决深度图上采样的问题。此外，还有一些方法首先对彩色图像进行分割，然后利用得的分割图像分别对分割的每个区域的深度信息进行重构，最后将这些重构的深度区域重新组合来得到高质量的深度图。与上述所有方法不同的是，基于块的合成方法需要搜索与给定的低分辨率深度块相匹配的高分辨率块。这种方法的缺点是高分辨率块和低分辨率块的匹配过程往往是非常耗费时间的。深度图的超分辨率问题可以被表示为一种边界补偿问题，这里通过多残差字典学习来解决这个问题。虽然这些典型的方法能够一定程度提高深度图的精度，但它们不能通过硬件如GPU和TPU等进行加速，这将极大地限制了这些方法在计算机视觉领域的广泛应用。