[发明专利]高分辨率单目2D视频到双目3D视频的转制方法

说明书

本发明公开一种高分辨率单目2D视频到双目3D视频的转制方法，在深度信息提取阶段，使用现有的3D电影作为源数据集训练一个U型结构的卷积网络，得到性能优越的网络模型对2D视频进行逐帧的深度估计，利用小型的神经网络对深度图进行保边平滑的优化处理。在视点合成阶段，提出无相机参数的基于深度图的视点合成算法，采用对称式的由中间向两边渲染的策略进行左右虚拟视点合成。最后，在图像修复阶段，提出了结合时域信息的基于块匹配的图像修复算法，对左右视点中的裂痕空洞进行填充修复。本发明能够在原2D视频无任何相关参数信息的前提下，对其进行2D到3D的视频转制，不仅可以有效地处理高分辨率画面，且转制效果好、速度快。

技术领域

本发明涉及一种高分辨率单目2D视频到双目3D视频的转制方法，属于图像处理、计算机视觉和计算机图形学领域。

背景技术

近些年来多媒体相关技术和硬件设备快速发展，市场上推出了各种3D和VR设备，如VR眼镜、3D屏幕手机和3D显示器等，与此同时用户对于观看3D视频的娱乐需求也日益增长。然而对于普通的具有拍摄功能的移动设备，只能拍摄普通的单目2D视频，目前市场上缺乏将2D视频转制为3D视频的技术。无论是3D电影荧幕，VR眼镜，或是3D屏幕手机和显示器，都需要有丰富多样的双目3D视频资源作为支撑，来为用户提供具有立体感、沉浸感和视觉效果的3D视频观看体验。单目2D视频到双目3D视频的转制技术正是解决这一问题的关键技术，可以极大地快速地丰富3D视频资源库。

目前主流的3D内容制作分为两种：一种是主动式拍摄获取方法，一种是被动式计算机视觉计算方法。但是主动式方法对双目摄像镜头的要求很高，要保证镜头、光圈、色度一致，两路信号要同步，这使得立体拍摄的设备成本极高。被动式方法是通过后期的2D转制3D技术来完成，即对单目2D视频通过计算机视觉、计算机图形学的方法估算出双目3D视频，这样两路视频输入显示设备，可以获得良好的3D视觉体验效果。

2D视频转制3D视频，需要先有2D视频每帧画面的深度信息作为基础，其次通过基于深度信息的虚拟视点合成方法合成虚拟视点，然后对虚拟视点中的空洞和瑕疵进行填充和修复。对于1080P的高分辨率视频，图像中的像素数量极大，转制技术需要保证输出的双目3D视频同样是原先的高分辨率，并且纹理、色彩和语义信息准确而合理，观看时无模糊、目眩和失真等视觉感觉，画面及内容需要使观看者在感到自然、流畅的基础上，具有立体感、沉浸感的视觉享受。

高分辨率的单目2D视频到双目3D立体视频的自动化转制，目前主要面临以下几个难点：

1、视频画面的深度信息估计不够准确，虚拟视点合成需要质量很高的深度图，其所需深度图需要达到像素级的准确度和平滑度。

2、基于深度信息的虚拟视点合成，由于普通的视频没有相机参数等必要信息，因此进一步提高了对深度图质量的要求，增大了虚拟视点合成的难度。

3、视频是由连续的画面构成的，因此对于双目的虚拟视点的空洞瑕疵的填充和修复，不仅要在单帧画面上表现得清晰细腻和无伪影，而且要在画面连续播放时连贯自然，无整体上和局部上的色彩、纹理的抖动和异变。

4、对于高分辨率的视频画面，其深度信息提取、虚拟视点合成、图像空洞修复难度很大，不仅要保证2D-3D转制的效果，而且要考虑计算机硬件的性能上限和处理速度。

发明内容

本发明解决了上述问题和难点，提供了一种针对高分辨率单目2D视频到双目3D视频的转制方法，这种方法能够对高分辨率的任意的2D视频，在无相机参数和其他信息的前提下，无需人工操作的情况下，全自动地将输入的单目2D视频转制为3D视频，且保持原分辨率与画质效果。

为了实现上述目的，本发明的一种针对高分辨率单目2D视频到双目3D视频的转制方法，包括如下步骤：

步骤1：从现有的3D电影中提取左右帧，采用SGBM算法从中提取和构建RGBD数据集；