[发明专利]一种通过单视角彩色图像序列生成深度图序列的方法

说明书

技术领域

本发明涉及一种通过单视角二维彩色图像序列生成对应深度图序列的方法。

背景技术

深度图序列是重构三维视频的重要信息，当前获取深度图序列方法主要有主动式和被动式两种。主动式获取主要指利用深度相机对三维场景中的距离信息进行测量，并将测量结果用图的形式来表示。被动式获取主要通过二维彩色图像序列进行计算得到。其中，主动式获取深度信息只能在视频采集阶段实施，而对于已经采集到的二维彩色图像序列则已经损失了三维场景的距离信息，需要利用被动式获取方式计算得到深度图序列。

在被动式获取方式中，通常利用多视角的二维彩色图像序列进行匹配计算得到视差信息，再将视差信息利用空间几何关系转换成深度信息，保存为深度图序列。但是这种方法必须具备多视角的二维彩色图像序列以及视角之间的配准参数，才能得到准确的深度信息。并且在实际生活中，大量的视频源都是已经采集得到的二维视频序列，只有单视角信息，无法再度采集得到其他视角信息。因此，在这种情况下如何通过已经获得的单视角二维彩色图像序列获得相应的深度图序列就成为一个迫切需要解决的问题。

在利用单视角彩色图生成深度图的时候，通常会借助视觉先验信息，比如几何形状、空间叠加关系等空域信息，对场景的深度值进行估计，从而生成相应的深度图。该类技术已经取得了一定的效果。但是对于图像序列而言，以往方法一般是采用逐帧生成的方式，而没有充分考虑到序列中图像之间的时域特征，不仅会影响深度图的生成质量，甚至会导致深度图序列出现时域上的错误抖动，从而影响最终效果。本发明针对单视角彩色图像序列的情况，联合利用图像空域信息和序列时域信息，有效提高生成深度图序列的质量。

发明内容

本发明的目的为了提升单视角二维彩色图像序列生成深度图序列的质量、提升深度图计算的准确性，改进深度图时域抖动、空域错误、场景还原性低等缺陷，而提供的一种通过单视角彩色图像序列生成深度图序列的方法，本发明通过时域与空域联合计算深度图序列的方法，通过提取像素点在空域上和时域上的平滑性特征，并在读取和扫描的过程中进行深度图序列的计算。这样的方法，能有利于改进深度图时域抖动、空域不稳定、场景还原性低等缺陷的深度图序列。

本发明的技术方案为：

一种通过单视角彩色图像序列生成深度图序列的方法，其特征在于包括以下步骤：

（A1）输入彩色图像序列；

（A2）按时域顺序读取彩色图像序列中的一帧图像，并将该帧彩色图像转换为灰度图像；

（A3）对所述灰度图像按照Zig-Zag扫描方式进行基于联合时域空域的深度计算，得到深度图序列；

（A4）重复步骤A2～A3，直至所有序列中的所有彩色图像全部处理完毕；

（A5）输出所述得到的深度图序列。

所述步骤（A2）中的灰度图像通过以下其中一种方式得到：

（B1）通过彩色图任一彩色分量而形成；

或，（B2）通过对彩色图的彩色分量加权求和而形成；

或，（B3）转换成其他色彩空间后，用任一彩色分量而形成；

或，（B4）转换成其他色彩空间后，对新的彩色分量加权求和而成。

所述步骤（A3）中灰度图像按照Zig-Zag扫描方式是指以下方式中的一种：

（C1）对所述图像从上至下，以行像素为单位，首先从左至右进行扫描，随后从右至左进行扫描，依此类推，直至图像所有像素扫描完毕；或，（C2）对所述图像从上至下，以行像素为单位，首先从右至左进行扫描，随后从左至右进行扫描，依此类推，直至图像所有像素扫描完毕。

所述步骤（A3）中所述基于联合时域空域的深度计算的方法，包括以下步骤：

（D1）利用时域匹配技术，包括但不限于光流法，将当前图像和相邻图像进行时域匹配，获取每个像素点的时域特征；

（D2）获取当前图像每个像素点的空域特征；

（D3）按照图像Zig-Zag扫描方式对所述灰度图进行扫描，当扫描方式是从左至右时，比较灰度图上当前像素点P(x,y)与其周边3个像素点P(x-1,y)、P(x-1,y-1)、P(x,y-1)之间的时空域特征差异，分别计算得到对应的候选深度值d1、d2、d3；或，（D4）按照图像Zig-Zag扫描方式对所述灰度图进行扫描，当扫描方式是从右至左时，比较灰度图上当前像素点P(x,y)与其周边3个像素点P(x+1,y)、P(x+1,y-1)、P(x,y-1)之间的时空域特征差异，分别计算得到对应的候选深度值d1、d2、d3；