[发明专利]复杂场景的二维视频转换为三维视频的方法及系统

说明书

技术领域

本发明属于视频转换技术领域，涉及一种视频转换方法，尤其涉及一种复杂场景的二维视频转换为三维视频的方法；同时，本发明还涉及上述方法对应的视频转换系统。

背景技术

在3D硬件显示设备日趋成熟的背景下，对3D视频数据的需求量迅猛增长。利用3D摄像机拍摄新的3D视频是一种提供数据的可行方式，但这种方式成本较高，并且无法利用已经存在的海量2D视频数据。因此将已有的2D视频转换为3D视频的技术有着巨大的市场需求。

二维数据转换成三维数据的方法和装置已经有一些公开文献。如：

中国台湾的广达电脑股份有限公司申请的专利“可自动将二维影像转换为三维影像的方法”(公开号CN101211463)利用在2D影像中圈选对象、设定基线、给予物件位移量等操作转换3D视频，该方案实际上需要人工干预，对复杂场景的视频效率较低。

上海交通大学申请的专利“二维图像序列三维重建方法”(公开号CN1588452)从二维图像序列中分割出感兴趣的对象并构造三维体数据，最终采用计算机绘制手段将三维物体绘制出来，但该方法的最终输出是图形数据，而不是3D视频。

福州华映视讯有限公司申请的专利“将二维影像转换为三维影像的方法”(公开号CN101593349)将二维影像转换为灰阶影像再提取深度值，利用的信息量小，适用范围比较有限。

美国奥拉西伊公司的专利“用于自动进行二维和三维转换的方法”(公开号CN1524249)提供了一种用于控制已知的光学原理来将单个主图像转换成多个图像的方法，该专利是针对图像的技术，没有利用视频的相关性信息。

日本三洋电机株式会社的专利“将二维图像转换成三维图像的方法”(公开号CN1126344)同样是关于图像的转换方法，没有利用视频信息。

韩国三星电子株式会社的专利“从二维图像产生三维图像的装置及其方法”(公开号CN1426024)，该方案根据图像的照明特征利用滤波器生成三维图像。

荷兰皇家飞利浦电子股份有限公司申请的专利“将二维视频转换为三维视频的方法和系统”(公开号CN101563935)，该方案根据对场景的音频信息的分析来制定该场景的视觉深度。

美国切克梅特国际公司的专利“用于从二维视频源中合成出三维视频的系统和方法”(公开号CN1244278)对来自二维视频源的帧进行数字化并将其分解为多个场，随后对这些场单独进行处理并对其进行变换以引入在与其它场组接在一起时可被观察者理解为三维图像的视觉线索。

由此可见，上述方案所公开的技术方案中，还没有将包含有复杂场景的二维视频(如内容丰富的平面电视和平面电影信号)转换为三维视频的方案。

发明内容

本发明所要解决的技术问题是：提供一种复杂场景的二维视频转换为三维视频的方法，可将复杂场景的二维视频转换成三维视频。

此外，本发明进一步提供上述方法对应的视频转换系统，可将复杂场景的二维视频转换成三维视频。

为解决上述技术问题，本发明采用如下技术方案：

一种复杂场景的二维视频转换为三维视频的方法，所述方法包括如下步骤：

步骤1、对输入的二维视频作场景分割，把每一帧分割为前景部分和背景部分；

步骤2、判断前景目标的类型，如果目标的先验模型未知，则利用视频相邻帧之间的光流信息进行前景的三维重建；如果目标的先验模型已知，则利用目标的先验模型进行前景的三维重建；

步骤3、判断背景是否运动，如果背景运动，则利用基于运动的重建方法进行背景的三维重建；如果背景静止，则利用基于影调的重建方法进行背景的三维重建；

步骤4、将步骤2得到的三维重建结果合成三维前景；

步骤5、将步骤3得到的三维重建结果合成三维背景；

步骤6、将步骤4得到的三维前景和步骤5得到的三维背景合成三维视频输出。

作为本发明的一种优选方案，所述前景部分指视频中离摄像机近并且是视频内容所要关心的主要目标的部分；所述背景部分指视频中离摄像机远并且非视频内容所要关心的主要目标的部分。

作为本发明的一种优选方案，所述步骤1中的分割方法为：利用基于彩色信息或基于运动信息的分割方法。

作为本发明的一种优选方案，所述步骤6中，输出形式是将输入的2D视频的每一帧作为3D视频帧的其中一个视图，而新生成的帧作为3D视频帧的另一个视图，两个视图一起组成完整的3D视频帧，并输入到相应的3D视频显示装置进行显示。

作为本发明的一种优选方案，所述步骤6中，输出形式是在每一时刻新生成的两个帧作为该时刻3D视频帧的左右视图。