[发明专利]一种基于光流与图像分割的深度表示方法

说明书

技术领域

本发明涉及二维视频转换三维视频时深度表示方法，尤其涉及一种基于光流与图像分割的深度表示方法。

背景技术

随着数字电视技术的不断发展，传统的二维画面不能满足人们对视觉享受的要求，而三维电视以其生动逼真的场景给人以身临其境的感觉，越来越成为数字电视未来发展的一种趋势。

三维电视所使用的是一种有别于传统二维电视的片源，它往往需要2路以上的视频用于最终合成显示需要的特殊三维视频。这一片源制作过程大致有两个途径：其一是用立体相机直接产生3D视频，但是这种方法代价高昂。另一种方法是寻找一种合适的算法将原有的2D视频转换为可以用于立体显示的三维视频。而目前由于大量传统2D视频的存在，2D转3D技术的研究有着更为现实的意义，这一技术的研究不仅可以为立体显示提供丰富的素材，而且能大大节省内容制作的成本。

2D转3D过程中的重要一步就是产生合适的深度图。由于单路视频的深度信息不可逆地损失了，所以要从中恢复出深度信息，需要用到生理和心理视觉上的深度线索，例如，物体运动信息、场景空间几何信息、物体表面纹理和形状信息、物体成像阴影、物体边缘信息和拍摄相机的聚焦与散焦情况等。在这些深度线索中，运动信息占了主导地位，因为大多数视频都具有运动的前景物体，通过提取前景物体的运动信息，就能够表示出物体间的深度关系。提取运动信息的方法主要有窗口匹配法和光流法。窗口匹配法尽管简单，但是往往有大量噪声和块效应存在，而光流法能够更精确地得到物体的运动信息。

光流是指当观察者和场景目标之间有相对运动时，图像亮度模式的表观运动。光流表达了图像的变化，它包含了目标运动的信息，可用来确定观察者相对目标的运动情况。光流分析是研究图像灰度在时间上的变化与背景中物体的结构和运动的关系。场景中的目标运动导致图像中的亮度模式运动，而亮度模式的可见运动产生光流，除一些特殊情况，光流场与运动场是对应的。通过分析图像的光流变化，可以达到确定场景三维结构和观察者与运动物体之间相对运动的目的。

一般来说，场景中同一物体具有相似的深度值，而光流法得到的运动信息在物体内部会存在一些深度跳跃不连续的部分，采用图像分割的方法能够有效分割出每个物体所在位置，从而对物体内部深度进行平滑，消除这些深度不连续的部分。

图像分割在图像处理中有着广泛的应用。一个物体通常有着类似的局部特征，例如，亮度、颜色、纹理和位置等，图像分割的基本思想就是通过判断这些局部特征的差异，将一副图像中类似特征的区域聚合在一起，特征差异大的区域相互分开，这样就基本能够将图像中的主要物体分割开来。

采用光流法提取运动信息，再用图像分割修饰的方法，能够有效提高深度图的质量。

发明内容

本发明的目的是克服现有技术的不足，改进运动信息的提取方法，并能够平滑噪声和精确物体边缘轮廓，提供一种基于光流与图像分割的深度表示方法。

基于光流与图像分割的深度表示方法包括如下步骤：

(1)对原始二维视频中的每一帧图像，参考每一帧图像在时间方向上相邻的后一帧图像，进行光流分析，得到当前图像的光流图；

(2)对原始二维视频中的每一帧图像进行图像分割，得到分割图；

(3)结合原始二维视频中每一帧图像对应的光流图与分割图，得到深度图，用于三维视频的表达。

所述的对原始二维视频中的每一帧图像，参考每一帧图像在时间方向上相邻的后一帧图像，进行光流分析，得到当前图像的光流图步骤：

(a)取原始二维视频中的一帧图像及其时间方向上相邻的后一帧图像，对这两幅图像对应的亮度分量Y₁、Y₂和色度分量U₁、V₁、U₂、V₂分别运用图像处理中的Sobel算子计算水平梯度和垂直梯度，得到当前图像三个分量的水平梯度Y_1x、U_1x、V_1x，垂直梯度Y_1y、U_1y、V_1y和后一帧图像的水平梯度Y_2x、U_2x、V_2x，垂直梯度Y_2y、U_2y、V_2y，运用如下公式得到当前图像的整体水平梯度I_1x和整体垂直梯度I_1y以及后一帧图像的整体水平梯度I_2x和整体垂直梯度I_2y：