[发明专利]一种时域一致性保持的双目立体视频场景融合方法

说明书

技术领域

本发明是一种新型的时域一致性保持的双目立体视频场景融合方法，属于视频图像处理、双目立体视觉技术领域。

背景技术

随着3D影视技术的发展，双目视频图像的编辑方法近年来受到了越来越多的关注。然而，将现有的2D视频图像编辑方法扩展到双目视频图像上，由于要处理视差等额外信息，使之成为一个较难的问题。

双目立体视频场景融合是指，给定两段双目立体视频，将立体视频A的运动对象，融入立体视频B的动态场景，并保持颜色、视差和时域一致性,得到双目立体视频场景融合结果。

计算机视觉和计算机图形学领域对于2D视频图像编辑方法与双目视频图像编辑方法已有较多文献，我们不试图尽列所有方法。重点介绍视频时域一致性编辑的相关工作，也会涉及视频图像场景融合方法和双目图像编辑方法。

普通单目视频编辑方法近年来已经有较多的研究。2002年，Chuang等人将双向光流应用到三分图在视频帧间的传播算法中。2009年，Bai等人利用一组局部分类器配合光流算法得到了时域一致性方面更优的结果。2010年，Bai等人又将颜色流应用到视频对象精准提取的三分图传播步骤中。这些方法对于普通单目视频编辑有较好的效果。但是，这些蒙版（mask）传播方法并不能直接应用到双目立体视频编辑方法中。2008年Sand等人提出了一种实用的长期跟踪方法。2009年Lee等人利用尺度不变特征转换（即SIFT）流场，提出了一种视频去抖算法。Bhat等人2010年将光流算法应用到了多种梯度域视频编辑算法中。2012年，Chen等人将局部线性结构保持的思想应用到了视频编辑传播中。这些时域一致的视频编辑算法主要关注对象跟踪和内容编辑，本发明的目标是同时编辑双目立体视频对象的形状和颜色。

视频图像场景融合方法是一种经典的视频图像编辑方法。2003年Pérez等人提出泊松融合方法通过求解泊松方程将融合区域无缝的融入新场景中。2009年Jia等人利用精准对象提取进一步提高了泊松融合的效果。2009年Farbman等人利用中值坐标大大提高了融合速率。2010年Xie等人将中值坐标融合扩展到了单目视频融合上。Chen等人2013年利用光流将中值坐标融合扩展到了视频合成上。这些方法并没有保持提取运动对象的时域一致性。

双目视频图像编辑方法同样与本发明的工作相关。Lo等人2010年提出了一种名为“广告牌”的双目图像对象场景合成方法。Luo等人2012年提出了一种迭代的双目图像场景融合方法，能够同时调整形变与颜色。2012年Niu等人提出了一种根据用户交互和视差图的双目图像变形方法。这些方法都是针对双目图像的编辑操作。2008年Wang等人，2006年Weng等人分别提出了一种图像变形方法。2010年Lang等人提出了一种视频重定位（video retargeting）方法，该方法利用光流保证了帧间的变形传播。

发明内容

本发明的目的是提出一种新型的时域一致性保持的双目立体视频场景融合方法。为完成本发明的目的，本发明采用的技术方案是：首先提取立体视频A的运动对象。利用SIFT特征匹配算法，将立体视频A左目第一帧的指定运动对象的轮廓，自动传播到立体视频A右目第一帧的相应运动对象，然后建立立体视频A的左目运动对象与右目运动对象之间的特征匹配关系，在SIFT流、左右目对象轮廓形变的联合约束下，将立体视频A左目/右目第一帧的运动对象轮廓，分别传播到左目/右目其他每一帧的相应运动对象，提取出立体视频A的运动对象；然后，将立体视频A的运动对象放置到立体视频B的动态场景中，进行时域一致的运动对象与动态场景的视差融合变形。利用泊松融合等融合方法，得到运动对象与动态场景的融合后视差图序列，根据融合后视差图，指导运动对象变形；最后，利用中值坐标融合等融合方法，对运动对象与动态场景进行时域一致的颜色融合。其具体步骤如下所述。

本发明一种时域一致性保持的双目立体视频场景融合方法，包括如下步骤：

步骤S100，立体视频A的运动对象轮廓传播与提取：用户采用画笔式等交互方式，选定立体视频A左目第一帧的运动对象的轮廓，将立体视频A左目第一帧的运动对象的轮廓，自动传播到右目第一帧的相应运动对象；以此为基准，将立体视频A左目/右目第一帧的运动对象轮廓，分别传播到左目/右目其他每一帧的相应运动对象，提取出立体视频A的运动对象；（注：本发明中，如不经特别说明，左目、右目的处理顺序可以交替，为表意清楚，本发明中，均以左目为例）