[发明专利]一种基于结构信息的边界保护深度视频估计方法

说明书

技术领域

本发明涉及图像处理技术及立体成像领域，尤其涉及一种基于结构信息的边界保护深度视频估计方法。

背景技术

3D视频提供给观察者一种身临其境的立体体验。3D技术的迅速发展与进步，使得3D技术受到越来越多的关注，例如：3D电视的出现，3D影院和自由立体电视的兴起，以及3D技术在医学和军事中的应用。3D系统与传统的2D系统的区别在于其提供给观察者对场景的深度感知信息。因此，深度信息的获取是3D系统中的重要因素，也是获取立体感知的根本原因。目前已提出一些深度视频估计方法，主要包括局部深度估计方法和全局深度估计方法。局部深度估计方法依据邻域像素具有相同深度值的假设进行深度估计，全局深度估计方法是基于能量函数最小化的估计方法，相对局部深度估计方法可以得到更加准确的深度结果，但全局深度估计方法的全局优化策略使得其边界准确性需要进一步提高。

发明内容

本发明提供了一种基于结构信息的边界保护深度视频估计方法，本发明将彩色图像的区域分割信息与初始深度图的边界信息相结合，利用结构信息更新能量函数平滑项，提高深度视频的边界准确性，详见下文描述：

一种基于结构信息的边界保护深度视频估计方法，所述方法包括以下步骤：

基于亮度信息对输入视频的每一帧构造能量函数；

通过求解所述能量函数获取最优解，以此得到初始深度图，通过边界提取算子提取初始深度图边界；

对彩色视频的每一帧进行区域分割，根据彩色视频的分割结果以及初始深度图边界对能量函数进行处理，更新能量函数的平滑项；

对更新后的能量函数进行最小化处理，获取视差值，并将视差值转化为深度值。

通过求解所述能量函数获取最优解具体为：通过能量函数最小化方法求取能量函数的最优解。

所述更新能量函数的平滑项具体为：

其中，a,b∈{-1,1}；ρ为平滑系数；P(x+a,y+b)为当前像素的相邻像素；E_depth为初始深度图；Label_P(x+a,y+b)为P(x+a,y+b)在彩色分割图中所属的区域；Label_P(x,y)为P(x,y)在彩色分割图中所属区域；α为原有平滑系数；Ls₁和Ls₂为平滑项更新参数。

本发明提供的技术方案的有益效果是：本发明通过对彩色图像进行区域分割，对初始深度图提取边界，将以上边界和区域的结构信息相结合，能够使正确的边界更加清晰，并平滑错误的边界，从而提高深度视频边界的准确性。

附图说明

图1为本发明提出方法的流程图；

图2为初始深度图边界信息的示意图；

图3为图2中所标定的方框内彩色图与深度边界的示意图；

图4为未经能量函数平滑项更新的图2中所标定的方框内深度图边界的示意图；

图5为经过本方法得到的图2中所标定的方框内深度图边界的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

能量函数最小化是全局深度估计算法的基础。能量函数包括三项，数据项，平滑项以及时域项。数据项保证当前像素与参考视点中对应像素的亮度相似性，平滑项使得当前像素与其相邻像素具有相似的深度值，时域项包括帧间相关信息，可提高深度视频时域一致性。