[发明专利]分级特征反馈融合的深度图像超分辨率重建方法

说明书

本发明针对受限于深度相机采集装置，采集的深度图像存在分辨率较低、易受噪声干扰等问题，难以满足实际需求，提出了分级特征反馈融合的深度图像超分辨率重建方法，利用深层网络提取深度图像及其对应纹理图像的特征，构建深度‑纹理深层的特征表示。在此基础上，利用金字塔结构构建深度‑纹理的深层特征在不同尺度下的分层特征表示。还采用分级特征的反馈式融合策略，综合深度‑纹理的边缘特征，生成深度图像的边缘引导信息。深度图像的重建过程采用残差学习的方式，进一步增强深度图像的重建质量。本发明，通过实验结果表明，相比state‑of‑the‑arts方法，本发明提出的方法均实现了深度图像的主、客观质量的提升。

技术领域

本发明涉及计算机视觉技术领域中的超分辨率重建，具体说是分级特征反馈融合的深度图像超分辨率重建方法。

背景技术

近年来，深度信息(指三维空间中的位置和尺寸信息)在计算机视觉领域的应用越来越广，在远程医疗、无人驾驶以及安防监控等应用中利用深度信息可以显著地提升产品的性能。通常，深度信息的采集是通过深度相机获取深度图像来实现的，由于受到深度相机采集装置的限制，深度图像的采集分辨率往往较低，如Mesa Swiss Ranger 4000采集的深度图像的分辨率仅为176×144，微软Kinect V2采集的深度图像的分辨率为512×424，均难以满足实际需求。因此，如何由低分辨率重建高分辨率的深度图像已经成为当前的研究热点。

与传统方法相比，卷积神经网络在图像超分辨率重建领域取得了显著的成就，此处的图像指代纹理图像。Dong等[1]首次提出了端到端的网络结构SRCNN(SuperResolution Convolution Neural Network)，直接学习从低分辨率到高分辨率的映射关系，验证了深度学习方法在解决图像超分辨率重建问题的有效性。Shi等[2]改进了SRCNN，采用亚像素卷积层实现高分辨率图像的重构，降低了计算复杂度。Lim等[3]提出了基于增强深层残差网络的单图像超分辨率方法EDSR(Enhanced Deep Super-ResolutionNetwork)，去掉了批归一化处理操作，可以堆叠更多的网络层，从而减少上采样模型的训练时间。然而，不同于纹理图像，深度图像的每个像素表征的是场景目标距离摄像头的距离，其边缘信息尤为重要。若直接应用上述单图像超分辨率方法，依靠空间映射的方式会导致深度图像边缘模糊，影响其超分辨率重建的结果。

同一场景下的纹理图像与深度图像具有一定的结构相似性，且高分辨率的纹理图像相比深度图像更容易获取。因此，许多学者利用高分辨率的纹理图像引导深度图像的超分辨率重建过程。如：Zhou等[5]提出了深度-纹理网络结构FCN(color-guided deep FullyConvolutional Network)，联合学习了从纹理图像到深度图像、从低分辨率的深度图像到高分辨率的深度图像两个非线性映射函数，在一定程度上揭示了纹理图像在深度图像超分辨率重建过程中的作用；Zhao等[6]提出了深度-纹理条件生成对抗网络CDcGAN(Color-Depth conditional Generative Adversarial Network)，学习低分辨率的深度图像和纹理图像之间的结构相似性，生成高分辨率的深度图像和纹理图像；Hui等[7]提出了多尺度融合策略MSG-Net(Multi-Scale Guided convolutional Network)，利用不同层次中丰富的分层纹理特征，消除了深度图像重建后存在的模糊现象；Li等[8]提出了深度图像超分辨率重建网络DepthSR-Net(hierarchical features driven residual learning forDepth map Super Resolution)，利用U-Net残差深层网络构建金字塔结构获取多个尺度的感受野，完成深度图像的超分辨率重建。

基于上述网络模型的方法可以获得良好的深度图像重建效果，但也存在一些不足：

(1)这些方法往往预先采用双三次插值方法对低分辨率的深度图像进行上采样，增加了模型的训练复杂度；