[发明专利]用于深度提取的视频处理方法和装置

说明书

技术领域

本发明涉及视频处理系统，尤其涉及根据二维视频序列在显示器上呈现三维图像感知的方法和系统。

背景技术

概括地说，利用一个或多个二维图像来显示和估计真实三维世界中的物体的形状是计算机视觉领域中的基本问题。人们可以获得景物或物体的深度感知，主要是因为人的双眼同时获得的视觉可以被组合并形成距离感。然而，在一些特定的情况下，当有诸如光线、阴影、重叠(interposition)、图案或相关尺寸之类的附加信息时，人们用一只眼睛就可以具有对景物或物体的深度感知。例如，这就是为什么可以利用单目镜相机估计景物或物体深度的原因。

例如，新的透镜形液晶显示技术(LCD)能够在不使用立体三维眼镜的情况下显示具有三维用户感知的静止和移动的图片。换句话讲，在三维LCD中，一片圆柱形透镜(透镜形的)以LCD像面位于透镜焦面的方式被放置在LCD的顶部。这意味着在观测者眼睛处发出的垂直看向透镜的光线被聚焦于LCD的位于每个透镜下面的中心部分。类似地，从侧视角度看向屏幕的眼睛发出的光线被会聚于每个透镜下面的偏离LCD中心的位置。如果每个透镜下面的LCD被分成不同的子像素，那么，从不同角度看向屏幕的眼睛将看到不同的像素。而且，如果正确的图像信息被放在不同的像素中(也就是，立体图像对)，那么，观测者将看到三维的图像。从而，图像处理和LCD驱动要求一起提供深度图和平面二维图片。

随着三维显示器市场的持续增长，不是所有的视频内容都可以立即变成“三维的”。因此，对发展三维技术有强烈的需求和期望，该三维技术可以为用户提供以三维感知的方式解释二维信息的能力。三维图像的重建或从二维视频序列得到的模型在很多领域有重要的分支，其应用于识别、监视、位置建模、娱乐、多媒体、医学影像、视频通信以及种种其他有用的技术应用。这种伪三维情形的要点在于从平面视频内容中提取相关深度信息。具体而言，从平面二维内容中提取深度是正在进行研究的领域，并已经突破了几项技术。例如，已有几项已知的专门设计的技术，用来基于被讨论的物体运动产生深度图。

处理该问题的通常方法是分析在同一时间以不同视点拍摄的多个图像，例如，分析立体图像对的不同，或分析同一点在不同时间的多个图像，例如，分析视频序列的连续帧，运动提取，分析封闭区域等等。其它技术可以利用诸如离焦测量之类的其它深度提示。还有其他一些技术联合一些深度提示以获得可靠的深度估计。

例如，Konya的欧洲专利申请1,379,063 A1公布了从基于图像片段的二维图像中进行深度提取的例子。具体地，它描述了一种移动电话，该移动电话包括用以获得人的头、颈和肩的二维静止图像的单个照相机、用以提供有视差信息的二维静止图像以产生三维图像的三维图像产生部分以及显示该三维图像的显示单元。

然而，上文描述的用于三维设计的传统技术由于一些因素并不总能使人满意。用于从二维视频序列中提取深度的系统主要基于瞬时运动估计，该瞬时运动估计通常假设更近的物体有更高的运动速度。这意味着一个计算非常密集的过程，要求更繁重的计算分析。而且，在没有显著的聚焦差异时，也就是在低成本消费装置中经常出现的图片是用短焦距光学装置或低质量光学装置获取的情况中，传统三维设计方法对于基于离焦分析的系统是不足的，而联合多个线索的系统会非常的复杂并难以与低成本平台兼容。结果，缺乏质量、缺乏稳定性以及增加的成本导致了在现有技术中存在的问题。从而，期望利用改进的系统和方法从诸如视频和活动图像序列之类的二维对象中产生三维图像的深度感知，该系统和方法避免了上文所提及的问题，并能够以低成本和简单的方式实现。

发明内容

于是，本发明的一个目的是提供一种改进的方法和装置，以通过提供深度提取来处理来自二维编码的视频位流中的视频图像，从而通过从编码的视频位流的运动矢量中提取三维视差信息以在三维显示器上显示二维视频序列。

特别地，本发明提供了一种处理视频图像的方法，该方法包括：接收包含有视频图像的二维视频应用的编码视频位流；对与编码视频位流的帧相关联的运动进行解码，以由帧的块单元提取运动矢量；产生运动图；处理运动图，所述运动图是利用运动矢量而产生的，其中通过将具有相似运动矢量类型的块单元分入各个区域以使得具有相似运动矢量类型的块单元被一起分入各个区域，其中各个区域中的块单元包括各自的深度信息；基于与视频图像的块单元相关联的运动矢量的类型，通过集成运动图的各个区域的深度信息来应用深度提取的步骤；以及产生深度图，以在三维显示器上呈现二维视频应用。

还可以包括一个或多个下列特征。