[发明专利]一种深度图恢复方法

说明书

技术领域

本发明涉及计算机视觉技术和图像处理领域，特别涉及一种深度图恢复方法。

技术背景

本技术所属计算机视觉技术和图像处理领域。深度图是从实际拍摄的场景中获得的深度信息，它对于增加真实感、进行3D重建和3D电视的应用有着至关重要的作用。现在深度图的获取分为两种形式，一种是被动方式，另一种是主动方式。本技术所针对的主要是由深度传感器主动获得的深度图。但现在主流的主动深度传感器(如ToF相机、Kinect等)所获得的深度图，存在低像素、低信噪比等缺点，如ToF相机获得的深度图受噪点和低分辨的影响，Kinect获得的深度图有相当大的洞。这些问题都给深度图的应用造成了不便。

为了得到高质量的图像信息，目前在这方面有广泛的研究。本技术中主要涉及的问题有噪点等图像退化问题。本技术的基本前提技术包括机器学习中的深度学习技术和深度图恢复技术。深度学习技术因在图像识别、图像处理中的显著效果，近年来受到了广泛的关注。本技术中采用了深度学习的卷积神经网络结构(CNN)，在有监督学习下的有着出色的分类效果，利用核分解来初始化网络权重可以对输入图像起到反卷积的作用。在目前的分类技术中，机器学习中有线性回归法、非线性回归法、BP算法、支持向量机法等，这其中包括有监督的学习和无监督的学习。但它们都各自存在一定的缺陷，并且在实际应用中效果比卷积神经网络要差很多。深度恢复技术有MRF、IMLS、Edge、JGF等方法，但使用单独的一种技术恢复的效果都不理想。

为了恢复从深度传感器获得的有缺陷的深度图，目前大都采用基于滤波器的深度图恢复方案，但是计算复杂度收敛得比较慢。卷积神经网络的一个重要特点是具有权值共享特性，这使得训练时间和计算时间显著得减少。对于为深度图退化模型而特别设计的AR模型，可以有效地针对性恢复。由于主要的深度图退化由欠采样、随机深度丢失、结构深度丢失和附加噪点污染造成，因此，只需针对这几种模型进行参数调整。带有反卷积特性的卷积神经网络可以有效地对输入的图像进行去噪处理，并由训练的网络将图像准确地分类为何种退化模型，并由相应的AR参数模型来进行深度图的恢复。

发明内容

本发明的目的是提出一种深度图恢复方法，显著提高深度图的质量，同时也简化获得深度图的方法。

为此，本发明提出的深度图恢复方法包括：A1：由各类物体的深度图构成训练集；A2：建立卷积神经网络，采取核分离方法，获得隐藏层的参数，建立卷积网络结构，利用训练集中的深度图训练网络结构、调整网络权重；A3：在卷积神经网络的输出层，针对可能的结果建立自回归模型，并建立评价指标；A4：将深度传感器获得的原始深度图输入卷积神经网络中，通过去噪、分类后，由自回归模型恢复，通过评价指标检测，若不合要求则将结果图输入A2中，直到得到高质量深度图或终止循环。

本发明采用了深度卷积网络来恢复从深度传感器获得的低分辨率、低信噪比的图像。利用本发明能够显著提高深度图的质量，同时也简化了获得深度图的方法。

附图说明

图1是本发明实施例流程示意图。

具体实施方式

本实施例深度图建立训练集，对训练卷积神经网络的参数结构，使得CNN能够对退化的深度图进行分类。利用核分解的方式，初始化CNN结构中的隐藏层，使得CNN结构具有反卷积特性，在分类的同时起到去噪、滤波的作用，部分解决了深度图的退化问题。建立AR模型，并根据主要的退化模型分别对AR模型进行参数的调整。将CNN的输出层和AR模型的输入层建立联系，将CNN对应的输出结果输入到AR模型中。

本实施例所提出的一种基于卷积神经网络和自回归模型的深度图恢复方法包括如下步骤：

A1：由相当大数量的各类物体的深度图构成训练集；规模可以考虑在1万张深度图左右，也可以更多，因为越大的训练数据其测试结果更好，但其训练时间也会因此加大，在一定训练量之后其性能的提升比较有限，对于一般的工作站或者服务器综合考虑性能和时间，从公共训练集选出一万张左右深度图比较合适；

A2：建立卷积神经网络(CNN)，采取核分离方法，获得隐藏层的参数，建立卷积网络结构，利用训练集中的深度图训练网络结构、调整网络权重。

A3：在CNN的输出层，针对可能的结果建立自回归(AR，auto-regression)模型，并建立评价指标；

A4：将深度传感器获得的原始深度图输入CNN中，通过去噪、分类后，由AR模型恢复，通过评价指标检测，若不合要求则将结果图输入A2中，直到得到高质量深度图或终止循环。