[发明专利]一种基于单张深度图超分辨率重建的方法

说明书

本发明公开了一种基于单张深度图超分辨率重建的方法，涉及计算机视觉和图像处理领域。该方法可以通过获取的单张深度图重建其高分辨率深度图。首先，利用局部自相似性，通过输入的低分辨率深度图自身构造训练数据样本集；然后，利用马尔可夫随机场模型，通过输入的低分辨率深度图和构造的自相似样本集重建高分辨率深度边缘图；随后，在重建的高分辨率深度边缘图指导下，通过修正的双边滤波恢复高分辨率深度图；最后，将得到的高分辨率深度图作为低分辨率输入图进行迭代处理，直到达到目标分辨率。本发明引入了图像的局部自相似性和边缘引导深度图恢复的方法，能够快速有效的对单张低分辨率深度图进行高分辨率重建。

技术领域

本发明涉及计算机视觉和图像处理领域，具体涉及一种基于单张深度图超分辨率重建的方法。

背景技术

深度图在3DTV，三维建模，机器人导航，目标追踪，交互式游戏等计算机视觉领域中有着广泛的应用。但是和高分辨率的彩色图相比，目前利用深度相机获取的深度图分辨率很低，这在很大程度上限制了深度图的进一步使用。例如，Swiss Range SR400和PMDCamCube 获取的深度图分辨率仅有200X200，即使是Kinect，获取到的深度图分辨率也只有512X424，远低于它相应的彩色图分辨率1920X1080。因此，为了克服这个问题，提升深度图分辨率成为了一项关键而急迫的研究内容。

目前，深度图超分辨率方法可以分为三大类。第一类是基于融合的方法，这类方法旨在通过融合多幅低分辨率深度图，以获得高分辨率深度图。但这类方法很大程度上依赖于一个假设：即可以通过微小的相机运动获取到多个范围的静态图像，但这在很多实际应用中可能不成立，并且操作成本十分昂贵。第二类是基于结合彩色图的方法，通过利用高分辨率彩色图和低分辨率深度图之间的结构关系，来指导深度图进行超分辨率。这类方法会带来彩色图的纹理复制等问题，并且，在实际情况中对彩色图和深度图进行配准和同步也是一个棘手的问题。第三类是基于单张深度图的方法，这类方法借鉴单张自然图像超分辨率方法，尤其是基于样本学习的方法。但相比于自然图像超分辨率，深度图拥有的信息更少，对边缘的保留和噪声的去除要求却更高，面临更大的挑战。不过这类方法不需要额外的深度图像帧或相应的高分辨率彩色图像，因此更易于实现。

发明内容

本发明要解决的技术问题为：克服现有技术的不足，提供一种基于单张深度图超分辨率重建的方法。利用局部自相似性和高分辨率边缘图引导，有效的解决了重建的高分辨率深度图边缘振铃等问题，得到更好的重建效果。实现表明，本发明提出的方法能够快速、有效的从单张深度图中重建其高分辨率深度图。

本发明解决上述问题采用的技术方案为：一种基于单张深度图超分辨率重建的方法，实现步骤如下：

步骤(1)、训练数据样本集构造，利用图像的局部自相似性，通过低分辨率深度图自身，结合图像边缘检测算子和shock滤波方法，并将处理后图像进行分块处理，得到训练样数据样本集。

步骤(2)、高分辨率边缘图重建，通过输入的低分辨率深度图分块得到输入样本块对，利用距离变换和欧式距离求得(1)中与输入样本块最近邻的N组训练样本块对。在此基础上构建马尔可夫模型，求得最优的匹配样本块，进而将得到的最终样本块进行融合处理得到高分辨率边缘图。

步骤(3)、深度图超分辨率，利用步骤(2)得到高分辨率边缘图，结合输入的低分辨率深度图，利用一个修正的双边滤波器得到最终的高分辨率深度图。

步骤(4)、迭代处理，直到达到目标分辨率。

进一步的，所述步骤(1)中训练数据样本集构造的具体内容如下：