[发明专利]一种时域一致性保持的双目立体视频场景融合方法

权利要求书

1.一种时域一致性保持的双目立体视频场景融合方法，其特征在于：它包括如下步骤：

步骤S100，立体视频A的运动对象轮廓传播与提取：用户采用画笔式等交互方式，选定立体视频A左目第一帧的运动对象的轮廓，将立体视频A左目第一帧的运动对象的轮廓，自动传播到右目第一帧的相应运动对象；以此为基准，将立体视频A左目/右目第一帧的运动对象轮廓，分别传播到左目/右目其他每一帧的相应运动对象，提取出立体视频A的运动对象；

步骤S200，时域一致的运动对象与动态场景时差融合变形：用户指定立体视频A的运动对象置入立体视频B的动态场景的位置，将立体视频A的运动对象区域的视差图，与立体视频B的视差图进行融合，并根据融合后的视差图，对运动对象进行时域一致的变形，以符合动态场景的透视规则；

步骤S300，时域一致的运动对象与动态场景颜色融合：利用中值坐标融合方法，对运动对象与动态场景进行颜色融合。

2.根据权利要求1所述的一种时域一致性保持的双目立体视频场景融合方法，其特征在于：在步骤S100中所述的“立体视频A的运动对象轮廓传播与提取”，其作法包含以下步骤：

步骤S110，对立体视频A，分别计算其各帧左右目之间的SIFT流场，计算其左目/右目视频前后帧之间的SIFT流场；对于立体视频A左目第一帧和右目第一帧，计算其SIFT特征匹配点对，并使用随机抽样一致即RANSAC方法去除误匹配；

步骤S120，用户通过画笔等交互方式，在立体视频A左目第一帧上，选定运动对象的大致轮廓；以S110步骤中的落在运动对象轮廓内的SIFT匹配点，以及运动对象轮廓的采样点为网格顶点，对运动对象进行三角剖分，得到立体视频A左目第一帧的运动对象网格，利用Luo人提出的方法，通过SIFT特征点匹配与三角网格畸变约束，将网格从立体视频A左目第一帧，传播到右目第一帧；

步骤S130，将立体视频A左目/右目第一帧的运动对象网格，传播到立体视频A的其余各帧的运动对象上，完成运动对象的提取；令分别代表当前帧已知的左目/右目运动对象的三角网格的所有三角形的集合，分别代表当前对应网格的所有顶点的集合，那么，运动对象轮廓的传播就是求取左目/右目下一帧运动对象的三角网格的顶点集合的所有顶点的坐标；本发明通过最小化如下能量方程，完成运动对象的轮廓传播；

E=λ₁E₁+λ₂E₂+λ₃E₃+λ₄E₄

式中，E代表总体能量，E₁代表帧间特征点对应约束能量，E₂代表三角网格畸变约束能量，E₃代表左右目网格的关联关系约束能量，E₄代表纵向对齐约束能量，λ₁、λ₂、λ₃、λ₄代表各个能量项的权重；

能量方程包含四个能量项，分别代表四种约束条件，其中，E₁为帧间特征点对应约束能量，通过SIFT流，我们将当前帧的网格顶点传播到相应的帧上，选取可信度较高的顶点进行传播，满足能量项：

E1=Σi=1nf||vnL(i)-vnL(s(i))||2+Σi=1nf||vnR(i)-vnR(s(i))||2]]>

这个能量项约束下一帧网格的各个顶点应该尽可能的靠近当前帧各个顶点通过SIFT流传播到下一帧的位置n_f为可信的顶点的数目；首选步骤S110匹配的点对的对应顶点作为可信点，及根据SIFT特征的特性，让用户选择可信度较高的点进行传播；

E₂为三角网格畸变约束能量，网格从上一帧传播到下一帧，其形状不应该发生剧烈的变化；对于网格的一个三角形，有(v_i,v_j,v_k)三个顶点，顶点vi用另外两个顶点v_j,v_k线性表示v_i=F_S(v_j,v_k)，控制三角网格畸变能量为:

E2=Σ(vnL(i),vnL(j),vnL(k))∈TnL||vnL(i)-FSL(vnL(j),vnL(k))||2+Σ(vnR(i),vnR(j),vnR(k))∈TnR||vnR(i)-FSR(vnR(j),vnR(k))||2]]>

分别代表左右目对应三角形各个顶点间的线性关系，该能量项约束了下一帧三角网格中的每个三角形的形状尽可能与当前帧对应的三角形的形状相似；

E₃为左右目网格的关联关系约束能量,对于双目立体视频而言，其左目/右目之间有相应的关联关系；如果让左目/右目运动对象的轮廓各自单独向下传播，则能出现左目/右目网格对应不一致的情况，造成左目运动对象与右目运动对象的不一致；为了保持左目/右目网格之间的关联关系，保证左目/右目运动对象内容上的一致性，需要引入左目/右目之间关联关系的限制：

E3=Σi=1nf||vnL(i)-vnR→L(s(i))||2+Σi=1nf||vnR(i)-vnL→R(s(i))||2]]>

由于下一帧的左右目网格的位置都不可知，所以不能直接建立下一帧左目右目网格之间的关联关系；所以，通过当前帧网格的顶点位置坐标，经过两次传递后得到的位置作为约束优化的方向；以从左目网格到右目网格的关联关系约束为例，对于当前帧左目网格的可信顶点首先通过左目当前帧与左目下一帧之间的SIFT流，传播到左目下一帧的位置s(i)，再通过左目下一帧与右目下一帧之间的SIFT流，将s(i)传播到右目的相应位置约束右目下一帧的顶点位置与计算所得的顶点位置尽可能相近；同理，约束右目网格到左目网格的关联关系；

E₄为纵向对齐约束能量，对于双目立体图像，左右目的对应内容在图像空间的纵向是一致的，所以，限制下一帧左目/右目网格对应顶点的y坐标尽量相同；能量项如下：

E4=Σi=1n(vnL(i)[y]-vnR(i)[y])2]]>

这四个能量项共同构成了运动对象轮廓传播的联合能量约束，我们使用λ₁=λ₃=λ₄=10，λ₂=1作为各能量项的参考权重。