[发明专利]基于视频分层的绘画渲染方法

权利要求书

1.一种基于视频分层的绘画渲染方法，其特征在于包含以下步骤：

1)根据输入的视频选取关键帧，用户交互的在关键帧的不同区域进行勾画，并指定视频场景的层数以及各个分层上的种子区域；

2)利用基于勾画的分层方法，借助光流将关键帧上的种子区域依次传播到其余各帧，采用高斯混合模型对传播的种子区域进行可靠性分析，保留可靠性高的区域作为该帧用来视频分层的种子区域；

3)根据各帧上获得的种子区域，利用图割优化方法对每一帧进行分层，进而在各帧之间得到一致的分层区域及位于前景层的笔刷布置；

4)在获得关键帧上位于前景层的笔刷布置后，根据相邻帧对应层的薄板样条变换进行传递，生成所有视频序列的前景的渲染结果；

5)将背景层通过变换拼接为全景图，在全景图上进行笔刷布置并绘制全景图，然后利用逆变换反求每一帧背景层的渲染结果；

6)在每一帧上依次将绘制的背景层和前景层进行融合，得到整个视频的风格化绘画渲染结果。

2.如权利要求1所述的基于视频分层的绘画渲染方法，其具体步骤如下：

步骤1：根据给定输入的视频，选取视频序列中包含视频场景中的颜色以及出现的物体最多的做为关键帧，如果视频序列太长，则将视频序列分解为几个片段，每一个片段选取各自的关键帧；

步骤2：在关键帧上采用勾画方式指定分层的种子区域：根据关键帧包含物体的颜色、运动信息，在关键帧相对应的区域进行勾画，通过勾画的不同的灰度值指定分层索引，从而获得关键帧上分层的种子区域

对于灰度值为c的勾画，其覆盖区域作为c/40分层的种子区域，对于每一个勾画，利用高斯混合模型分别计算各个区域的颜色分布：

Pr(c|I)=Σj=1Mp(c|j)P(j)]]>

其中P(j)是对应于每个分枝的权因子，取为1/3，p(c|j)是高斯混合模型中每个分枝的概率

p(c|j)=12π|Σj|12exp-12(ξ-μj)TΣj-1(ξ-μj)]]>

ξ是RGB三个通道的颜色值，μ是每个勾画的颜色均值，∑是协方差矩阵，π是圆周率常值；

步骤3：采用对偶基方法计算相邻两帧之间的光流场：对于每一帧上的每个像素p_i，对应一个光流向量v_i.对于带有噪音的视频，在得到光流场后，采用高斯滤波对光流场进行光顺处理，获得更加稳定的光流场；

步骤4：在视频序列之间传播勾画：对于每一个勾画，计算一组窗口{W_i}将勾画的边界覆盖，同时使得相邻的窗口彼此相互覆盖，对每个窗口W_i计算其内部的平均光流向量做为该点处勾画位移向量，那么在下一帧，勾画将传播至处；

步骤5：计算传播过程中种子区域的可信度：对于每个勾画中每个像素i，其可信度定义为RGB颜色相对于前一阵对应勾画的分布概率，即Pr(i)，如果Pr(i)小于0.2，认为该像素可信度比较低，不再适合做该层的种子，利用可信度对勾画进行修正，通过优化下面的能量函数进行操作：

[式1]

E(l)=ΣiRi(li)+λΣ<p,q>∈NV<p,q>(lp,lq)]]>

其中λ是权因子，控制可信区域的大小，取值为0.3；R_i(l_i)是高斯混合模型定义的颜色概率，具体定义为

R_i(l_i)＝-ln(Pr(G_i|l_i))

Pr(Ci|li)=12π|Σj|12exp-12(ξ-μj)TΣj-1(ξ-μj)]]>

V_<p，q>高斯是定义相邻像素的光滑性，使得勾画仍然能够保持相对的紧凑完整性：

V<p,q>(lp,lq)=11+||Cp-Cq|||lp-lq|]]>

其中C是像素的颜色，l_p是像素所在的层数，式[1]采用图割算法进行有效优化求解，将可信度低于30％的区域的勾画一分为二，保留可信度高的部分区域做为该分层上的种子区域，进而得到满足分层要求的种子区域；

步骤6：对每一帧上根据勾画的种子区域进行分层：分层的结果是将每一帧分割为互不相交的平面区域，每一块平面区域具有和种子区域相近的颜色、运动，这里颜色的相近性采用式[1]中高斯混合模型定义的颜色概率描述，运动的相似性则采用位移后对应像素的颜色差异来描述，具体的运动差异定义为：

Mi(li)=arctan(||It(i)-It+1(i′)||2-τ)+π2]]>

其中τ是常值取值60，了增加相邻两帧分层的一致性，定义如下的时间一致性能量：

综合考虑以上因素，在每一帧上计算分层通过优化如下能量函数得到：

[式2]

E(l)=Σi(Ri(li)+Mi(li)+Ti(li))+λΣ<p,q>∈NV<p,q>(lp,lq)]]>

其中权因子λ取值0.3，数衡量了将每个像素赋予某一层时的能量，通过极小化该能量函数可以得到分层的视频，将视频的每一帧依次表示为不同分层区域的组合；

步骤7：对于视频的前景层，首先在关键帧的每一个前景层上采用各向异性的模型布置笔刷，进而生成风格化绘制的前景层；

步骤8：为了使得绘制视频各帧的每个分层时尽可能一致的布置笔刷，将关键帧上的笔刷逐帧的传播到其余各帧。为了尽可能光滑的传递笔刷，采用薄板样条函数定义的如下变换来进行笔刷的传递：

[式3]

T(x，y)＝(f₁(x，y)，f₂(x，y))

f(x,y)=c0+c1x+c2y+Σi=1nwiΨ(||(x,y)-(xi,yi)||)]]>

其中Ψ(r)＝r²logr²是核函数，薄板样条系数可以通过求解下面的线性方程组得到：

KPPT0wc=pk+10]]>

其中K_ij＝Ψ(‖(x_i，y_i)-(x_j，y_j)‖)，P^T的第i列为(1，x_i，y_i)^T，p^k+1是该帧上对应特征点。通过前景层的笔刷传播，可以生成视频序列所有前景的风格化绘制；

步骤9：将视频序列所有的背景层在同一个坐标系下拼接成一个全景图：为了得到精确的全景图重构，需要计算视频序列各帧之间位于每个分层上的对应特征点，假设位于第k帧1层上的特征点为与之对应的第k+1帧上的特征点为那么寻找最优的变换H_k使得变换后的特征点误差最小，从而得到精确的全景图重构，变换H_k通过下面优化函数求解：

Hk=argminTΣl||plk-T·plk+1||2]]>

在对于每一帧的背景层求解得变换后，可以将所有的背景层在同一个坐标系下拼接生成全景图；

步骤10：对于拼接得到的背景层的全景图，采用各向异性的模型布置笔刷，进而生成风格化绘制的背景层，然后，利用拼接变换的逆变换将风格化绘制后的全景图中相应的部分映射回每一帧，从而得到每一帧上具有绘画风格的背景；

步骤11：对于视频序列中的每一帧，按照从后往前的顺序将绘制后的各个分层融合起来，生成最终的风格化绘制的视频序列，即这里对应第i帧第r分层，是融合系数，根据各个分层相应的面积比例计算。