[发明专利]基于分层-补洞的卡通动画再利用方法

权利要求书

1.一种基于分层-补洞的卡通动画再利用方法，其特征在于包含以下步骤：

1)根据输入的卡通动画选取关键帧，用户交互的将关键帧划分为不同的区域，每一块区域对应一个分层，不同分层通过其索引值的大小指定遮挡关系；

2)利用滚雪球图像分割方法将卡通动画的各帧分割成颜色相对单一的大的分块，以及狭长的围绕在大的分块周围的装饰线，每一分层都是由大的分块和狭长的装饰线组成；

3)基于颜色和形状差异定义大的分块的相似度，该相似度衡量各个分块隶属于每一个分层的可能性，并通过优化多标签能量函数计算分块所属的分层，然后将隶属于同一分层的分块聚类，得到初始的卡通动画分层；

4)在获得基于大的分块的分层后，依次将每一帧上的装饰线按照其位置划归到每一分层，从而得到更加精细的卡通动画分层；

5)依次将每一帧上的背景层在同一个坐标系下进行变换对齐，得到卡通动画的背景层的全景图，然后利用图像补洞方法填补全景图上的空洞，再利用对齐变换的逆变换得到每一帧补全的背景层；

6)对于相邻两帧对应的前景层，计算其特征匹配点，利用匹配点求解变换函数，将前一帧完整的分层变换到下一帧，进而填补下一帧上位于该分层的空洞，从而完成前景各个分层的补洞；

7)得到分层-补洞的卡通表现形式后，对现有的卡通动画进行卡通动画处理，合成新的卡通动画。

2.如权利要求1所述的基于分层-补洞的卡通动画再利用方法，其具体的执行步骤如下：

步骤1：根据给定输入的卡通动画，选取动画序列中包含卡通场景中的颜色以及出现的物体最多的作为关键帧；

步骤2：在关键帧上采用基于简单勾画方式的图割图像分割技术将该帧画面按照卡通场景内容分解成互不相交的平面区域，不同的平面区域代表不同的分层，从而获得关键帧上的分层区域其中i是关键帧索引，r是分层索引，不同分层的平面区域用不同的灰度值表示，r值的大小反映了不同帧之间的遮挡关系：索引值较大的分层只有可能被索引值小的分层遮挡；

对于灰度值为c的区域，其覆盖区域的分层索引值为c/40，关键帧的分层将作为整个卡通动画分层的引导，对剩余的帧进行相应的分层；

步骤3：采用滚雪球方法依次对卡通动画的每一帧进行分割，分割后的每一帧由颜色单一且大的分块和狭长但具有一定宽度的装饰线组成，装饰线围绕在分块的边缘，和分块一起构成不同的卡通物体；

步骤4：在分块的基础上，对相邻帧由步骤3分割得到的任意两个分块的相似度，进而通过该相似度在各帧之间传播各个分层对应的标签，完成卡通动画的分层，该相似度由分块的颜色和形状来定义，具体来讲，两个分块Si和S_i的相似度定义为：

[式1]

M(S_i，S_j)＝||C_i-C_j||+λH(S_i，S_j)

其中λ是权因子，控制颜色和形状因素的权重，取值为0.4；C是在RGB颜色空间的分块的平均颜色；H是两个分块的形状上下文差异；

步骤5：通过相似度将关键帧的分层依次在各帧之间传播，获取卡通动画每一帧的分层结果，在前一帧分层的基础上，对于下一帧的分块，根据其与前一帧各个分层上每一分块的相似度比较决定其属于下一帧的哪一个分层之上，下一帧的分层通过优化下面的能量函数求解：

[式2]

E(l)=ΣiDi(li)+λΣ<p,q>∈NV<p,q>(lp,lq)]]>

其中λ是权因子，控制分层边界的光滑性，取值为0.2；D_i(l_i)是基于前一分层结果的每一个分块属于各个分层的可能性，具体定义为

Di(li)=diliΣj=1Ndilj]]>

是同一分层的两个分块的相似度V_<p，q>是定义相邻分层的光滑性，使得分层区域保持相对的紧凑完整性：

V<p,q>(lp,lq)=11+||Cp-Cq||||lp-lq||]]>

其中C代表像素颜色，l代表像素的分层索引值，然后通过优化上述函数，得到当前帧的关于每个分块的一个标签，该标签标明每一分块所属的分层，从而得到基于分块的分层结果，然后再将该分层结果传递到卡通动画的其余各帧；

步骤6：获得卡通动画每一帧上各个分块的分层标签后，将装饰线并入相应的分块，首先对于每一帧的每个分块按照其相应的装饰线的宽度w，向外扩大2w的范围，保证扩大后的区域可以充分包含相应的装饰线，然后利用图割图像分割技术，对扩大后的分块区域再次进行分割，对每一条装饰线赋予分层索引，从而得到更加精细的分层表示，获得同时包含分块以及装饰线的卡通动画的分层结果；

步骤7：对于卡通动画中运动的前景卡通物体，采用形状上下文的方法计算物体轮廓上的特征点，这些特征点描述了卡通物体的形状；然后对于前后相邻两帧位于同一分层上的物体的特征点，根据特征描述，计算最佳的特征点匹配作为前后两帧该分层的对应映射点；

步骤8：根据前景分层上由形状上下文定义的特征点匹配，求解最佳的变换函数将前一帧的分层变换到下一帧，得到变换后的分层形状，为了尽可能弹性的变换卡通物体，采用薄板样条函数定义的如下变换：

[式3]

T(x，y)＝(f₁(x，y)，f₂(x，y))

f(x,y)=c0+c1x+c2y+Σi=1nwiΨ(||(x,y)-(xi,yi)||)]]>

其中Ψ(r)＝r²logr²是核函数，w和c为系数，薄板样条系数通过求解下面的线性方程组得到：

KPPT0wc=pk+10]]>

其中K是核函数矩阵，每个矩阵元素为K_ij＝Ψ(||(x_i，y_i)-(x_j，y_j)||)，P^T的第i列为(1，x_i，y_i)^T，x_i，y_i代表像素坐标，p^k+1是该帧上对应特征点，通过前景层的变换，将完整的前景物体变换到当前帧上不完整的分层，将空洞填补，得到当前帧完整的卡通物体分层；

步骤9：将卡通动画序列所有的背景层在同一个坐标系下拼接成一个全景图：为了得到准确的全景图重构，需要计算卡通动画序列各帧之间位于每个分层上的对应特征点，该特征点采用平移、伸缩不变的形状描述子定义：假设位于第k帧l层上的特征点为与之对应的下一帧第k+1帧上的特征点为寻找最优的变换H_k使得变换后的对应的特征点的误差最小，从而得到精确的全景图重构，为了有效求解变换H_k，通过优化过下面能量函数求解：

[式4]

Hk=argminTΣl||plk-T·plk+1||2]]>

在对于每一帧的背景层求解得变换后，可以将所有的背景层在同一个坐标系下拼接生成全景图；

步骤10：对于拼接得到的背景层的全景图，如果仍有空洞，采用块匹配的方法首先将全景图中的空洞填补，得到完整的、没有空洞的全景图，然后利用每一帧背景层变换的逆变换将全景图上的各个部分映射回每一帧，从而得到各帧上填补后完整的背景层；

步骤11：经过分层-补洞的处理，卡通动画转化成完整的分层表示，基于这些完整的分层表示，进行卡通动画编辑。

3.根据权利要求2所述的基于分层-补洞的卡通动画再利用方法，其特征在于：所述的步骤1)若动画序列太长，则将该动画分解为几个片段，每一个片段选取选取各自场景中的颜色以及出现的物体最多作为关键帧。