[发明专利]基于卷积神经网络的深度图像超分辨方法

说明书

技术领域

本发明属于图像处理技术领域，具体涉及一种深度图像超分辨方法，可用于下采样后的深度图像超分辨。

技术背景

随着计算机视觉技术的快速发展，传统的彩色图像不能准确地刻画现实的立体场景，因此已经不能满足人们认知世界的需求。彩色图像包含场景物体的色彩信息，描述的是二维信息，不能精确地描述场景的三维立体结构。而三维立体影像图像除了包含传统的二维信息还包含场景的第三个维度的信息，也就是场景的深度信息。三维立体重建技术通过深度图像能够重构出现实场景的三维立体信息。

尽管目前的深度图像获取技术取得了不错的发展，但是将获取的深度图像与同场景对应的彩色图像相比，其深度图像的质量依然很差，主要表现在分辨率较低。针对上述深度传感技术获取的深度图像分辨较低，人们提出了许多深度图像超分辨方法。其中，M.-Y.Liu,O.Tuzel,and Y.Taguchi等人发表在2013IEEE Conf.on Computer Vision and Pattern Recognition上的“Joint geodesic upsampling of depth images”，提出了联合测量滤波的方法，简称JGF方法，L.-F.Yu,S.-K.Yeung,Y.-W.Tai等人发表在2013IEEE Conf.on Computer Vision and Pattern Recognition上的“Shading-based shape refinement of rgb-d images”,提出了边缘加权非局部正则的方法，简称SBSR-D方法，这些方法都是利用深度图像和彩色图像之间结构上的相似性来对深度图像进行超分辨，其存在的不足是计算复杂度高，超分辨精度低，超分辨的图像的边缘部分容易模糊，难以满足实际应用的要求。

发明内容

本发明的目的在于针对传统基于滤波的超分辨方法的不足，提出一种基于卷积神经网络的深度图像超分辨重构方法，以降低计算复杂度，提高重构深度图像的精度，减弱超分辨的图像的边缘模糊，满足实际应用的需求。

为实现上述目的，本发明采用以下技术方案：

本发明提出了一种基于卷积神经网络的深度图像超分辨方法，该方法通过神经网络的非线性学习能力建立从低分辨的深度图像与对应的彩色图像到高分辨率的深度图像的映射的卷积神经网络模型，并以该卷积神经网络为指导实现深度图像超分辨，具体步骤包括如下：

(1)获取训练样本集，对获取的训练样本进行预处理，得到训练样本对；

(2)利用卷积神经网路强大的非线性学习能力，得到低分辨的深度图像与对应的彩色图像到高分辨率的深度图像的映射关系，构建卷积神经网络模型，本发明的卷积神经网络模型包括输入层、多个卷积层和输出层，确定网络结构中卷积层的层数m以及卷积层中的滤波器的个数和滤波器的大小网络的激活函数采用relu函数，relu(x)＝max(0,x)；

(3)训练(2)中卷积神经网络网络：初始化网络各层的滤波器的权值和偏置，采用最小化损失函数的方法对卷积神经网络模型进行迭代优化，经过多次迭代后获取网络模型结构中权重值W和偏置值b的最优解，得到最优卷积神经网络模型；

(4)利用训练好的卷积神经网络模型，对低分辨深度图像进行超分辨。

本发明与现有技术相比，具有以下优点：

1)本发明由于利用卷积神经网络进行深度图像超分辨，相比现有技术降低了计算复杂度，提高了深度图像超分辨的精度；

2)本发明所设计的卷积神经网络模型，由于充分考虑了深度图像和彩色图像的边缘部分的结构相似性，减弱了超分辨图像的边缘模糊。

附图说明

图1为本发明的实现流程图；

图2为本发明构建的卷积神经网络结构图；

图3为本发明仿真实验所用的moebius和dolls深度图像；

图4为现有的JGF方法、SBSR-D方法以及本发明方法对moebius深度图像超分辨的结果图。

图5为现有的JGF方法、SBSR-D方法以及本发明方法对dolls深度图像超分辨的结果图。

具体实施方式

以下结合附图对本发明的实施例和效果做进一步详细描述。

参照图1，本发明基于卷积神经网络的深度图像超分辨方法，其实现步骤如下：

步骤1，构造训练样本对，获取高分辨深度图像集X、初始恢复深度图像和与高分辨深度图像对应的彩色图像集C，对深度图像进行预处理，得到训练样本对。