[发明专利]一种深度图超分辨率方法

说明书

技术领域

本发明涉及计算机视觉和图像处理领域，具体涉及一种深度图超分辨率方法。

背景技术

深度图在计算机视觉应用中被广泛使用，比如图像分类、目标识别以及交互式游戏等。但是，和高质量高分辨的彩色图相比，深度图的分辨率很低，这在很大程度上限制了深度图的进一步使用。深度图分辨率很低的原因主要在于获取的方式较少，且不能简便快捷地获取。

深度图超分辨的首要前提是获取低分辨率的深度图。主要是利用深度相机直接获取深度图。比如：PMD CamCube 3.0，SwissRange SR400以及Kinect。但是这些设备的共同缺点就是分辨率很低。因此，提高深度图的分辨率成为弥补这种不足的有效手段，是一个重要而急迫的研究内容。

通常，深度图超分辨的方法可以分为三大类。第一类是基于融合的方法，这类方法或者将多个深度获取设备或者将得到的多张深度图融合在一起，以得到高分辨率深度图。这类方法操作起来比较复杂且设备昂贵，一般用户很难使用这类方法来提高深度图的分辨率。第二类是结合彩色/灰度图的方法，利用高分辨率彩色/灰度图的边缘信息，来提高超分辨率后深度图边缘的准确度。这类方法往往在提高深度图分辨率的情况下，也引入了深度图的纹理信息，就造出深度值的不准确，而且，实际情况中，深度图和彩色/灰度图的配准就是一个难以解决的问题。第三类是基于单张深度图超分辨的方法，这类方法借鉴单张自然图像超分辨方法，特别是借鉴利用信号在某些变换域下稀疏性的字典学习方法，这类方法得到的高分辨率深度图，质量比较高，而且易于实现。

发明内容

为了得到质量较高的高分辨率深度图，本发明提出了一种深度图超分辨率方法。

一种深度图超分辨率方法，包括训练步骤和超分辨率处理步骤；

其中，训练步骤包括如下步骤：

从深度训练图集中获取高分辨率深度图，从所述高分辨率深度图中提取高分辨率特征，

对所述高分辨率深度图进行缩小设定倍数的下采样后，再进行放大所述设定倍数的上采样得到低分辨率深度图，从所述低分辨率深度图中提取低分辨率特征，

利用所述高分辨率特征和低分辨率特征训练得到高分辨率合成型字典、低分辨率合成型字典(synthesis dictionary)和分析型字典（analysis dictionary）；

超分辨率处理步骤包括如下步骤：

将待处理的低分辨率深度图进行放大所述设定倍数的上采样，得到当前低分辨率深度图，然后提取所述当前低分辨率深度图的当前深度图低分辨率特征，并计算所述当前深度图低分辨率特征在对偶稀疏模型下的稀疏系数，

根据所述当前深度图低分辨率特征、稀疏系数、高分辨率合成型字典(synthesis dictionary)来恢复相应的当前深度图高分辨率特征，根据所述当前深度图高分辨率特征、所述当前低分辨率深度图的图像块得到相应的高分辨率图像块，将所有高分辨率图像块融合成一张高分辨率图像。

在一个实施例中，在所述超分辨率处理步骤中，相邻的当前深度图低分辨率特征之间相互重叠。

在一个实施例中，在所述训练步骤中，所述高分辨率特征为，所述低分辨率特征为，

其中，和分别为从所述高分辨率深度图中提取的高分辨率深度图块和从所述低分辨率深度图中对应位置提取的低分辨率深度图块，和中的和分别表示水平与垂直方向。

通过如下方式得到高分辨率合成型字典和低分辨率合成型字典(synthesis dictionary)：

其中， ，高分辨率合成型字典和低分辨率合成型字典(synthesis dictionary)分别为和， 表示第i个高分辨率特征，表示第i个低分辨率特征，为稀疏系数，为常数，表示范数的平方，表示范数，表示字典中的第个字典基。

在一个实施例中，所述训练步骤中的所述分析型字典（analysis dictionary）可通过求解以下最优化问题得到：

其中，函数是稀疏度评价函数，是所述分析型字典（analysis dictionary）。

在一个实施例中，所述超分辨率处理步骤中，通过如下方式求解稀疏系数：

其中，和是调节系数，表示所述当前深度图低分辨率特征。

在一个实施例中，所述超分辨率处理步骤中，通过如下方式获得当前深度图高分辨率特征：