[发明专利]一种基于自适应权值的时域一致性深度视频估计方法

说明书

技术领域

本发明属于视频处理技术及立体显示领域，涉及一种基于多视点视频进行基于自适应权值的时域一致性深度视频估计方法。具体讲，涉及一种基于自适应权值的时域一致性深度视频估计方法。

技术背景

3D显示技术可以为观察者提供一种身临其境的视觉体验。3D系统相对于传统的2D系统，其主要的特征是可以提供给观察者对场景的深度感知，进而获得立体体验。因此，深度信息的获取在3D系统中起着重要的作用。

通过深度相机拍摄可以直接获得深度数据，但由于器件的物理限制，这种方法获得的深度图分辨率往往较低。在立体/多视点系统中，深度信息可以通过立体匹配/深度估计的方法获取。深度估计算法通常分为两大类，分别是局部算法和全局算法。局部算法认为邻域窗口内像素具有相似的视差值，因此可以利用相邻像素的信息来计算深度值。局部算法得到的深度图的质量在很大程度上依赖于邻域窗口的选择以及代价累积的计算。Velsler提出一种变化窗口的方法，为不同像素产生不同的窗口进行代价累积的计算。Yoon等采用固定大小的方形窗口计算变化的权值，进行代价累积及匹配点的搜索。全局算法将视差估计的过程转化为能量函数最小化问题，这种方法相对局部算法能够获得更准确的深度信息。其中典型的是Sun等提出的将立体匹配转化为马尔科夫场问题，再通过贝叶斯置信传播的方法求解。

在很多情况下，3D视频比图像更具实用价值。如果将针对图像的深度估计算法直接移植到深度视频估计的过程中，忽略视频相邻帧间的相关性，将会导致深度视频质量的下降以及时域的不一致性。这种由单帧独立深度估计方法引起的深度视频的时域不一致性，会造成虚拟视点视频的不连续效应，进而带来虚拟视点的质量下降以及观察者的不舒适感。针对时域不一致性的问题，目前已有利用连续帧之间的相关信息来进行深度视频估计的方法被提出。Lee等提出用包含时域项的能量函数来计算匹配代价，这种方法在一定程度上提高了深度视频的连续性。Zhang等提出一种捆绑优化策略，它将相邻多帧的几何结构信息用概率的方式关联起来，保持整个视频的时域连续性。Zhu将传统的空域马尔科夫结构扩展到时域，构成动态马尔科夫场问题，再采用循环置信传播的方法产生具有鲁棒性的深度视频结果。

发明内容

为克服现有技术的不足，本发明旨在通过能量函数的最小化，可提高深度视频的时域连续性，同时提高深度视频及其绘制的虚拟视点的质量。为此，本发明采取的技术方案是，一种基于自适应权值的时域一致性深度视频估计方法，包括如下步骤：

一、能量函数构造

首先通过块匹配的方法分别计算中间视点与左参考视点和右参考视点像素的亮度差值，并将其中的较小值作为能量函数的数据项，然后，对于每一个像素，分别计算相邻像素与其得的亮度差，将亮度差以一定权值进行加权作为能量函数平滑项；

二、帧间运动估计

通过计算当前帧与前一帧对应块的SAD(Sum of Absolute Difference)，将其与预先设定的阈值进行比较，确定此块是否为运动块；当SAD值小于阈值，则该块是静止的，将块内每一个像素的运动矢量MV取为(0,0)；当SAD值大于阈值，则该块是运动的，将该块划分为更小的块进行全搜索运动估计，得到块内每一个像素的运动矢量为(m,n)，SAD的定义如下：

其中I和I_p分别代表当前帧及前一帧对应像素的亮度值；w是块的大小；

三、自适应权值计算

利用第二步求得的帧间运动矢量(m,n)计算能量函数时域项的自适应权值λ_t；

四、基于运动的能量函数更新

首先利用第二步求得的运动矢量以及前一帧的深度信息，计算当前帧能量函数的时域项E_temp；

然后，以第三步得到的自适应权值作为时域项权值，将时域项代入能量函数，得到更新后的能量函数：

E(x,y,d)＝λ_d·E_data(x,y,d)+λ_s·E_smooth(x,y,d)+λ_t·E_temp(x,y,d)

E_smooth为像素的平滑项，E_data为能量函数数据项，E_temp当前帧能量函数的时域项；

五、能量函数最小化

采用图割法对以上能量函数进行最小化求值，得到可靠的视差值，并将其转化为深度值，视差与深度的转化方法如下：