[发明专利]基于多尺度运动信息分离动画特效和背景内容的方法

权利要求书

1.基于多尺度运动信息分离动画特效和背景内容的方法，其特征在于，包括以下步骤：

1)获取数据，包括动画视频中带有特效片段的序列帧作为输入；

2)计算输入的序列帧中每一帧与其它帧之间的单尺度特效预测图集合；

3)合并每一帧的单尺度特效预测图集合作为多尺度特效预测；

4)通过自注意力机制调整多尺度特效预测，得到自注意力多尺度特效集合特征；

5)通过一个三维卷积神经网络层提取输入序列帧的特征；

6)联合输入序列帧的特征和自注意力多尺度特效集合特征；

7)通过三维残差卷积神经网络，每个残差模块加入非局部Non-local模块来强化时序信息关联，接着输出分离的特效序列帧和透明通道信息；

8)通过将输入序列帧和分离得到的特效序列帧作差，得到残损背景序列帧；

9)合并残损背景序列帧和透明通道信息，输入到三维卷积神经网络中，所有卷积层替换成门卷积进行动态特征选择，中间层替换为不同膨胀率的膨胀卷积，最终输出得到修复的背景序列帧。

2.根据权利要求1所述的基于多尺度运动信息分离动画特效和背景内容的方法，其特征在于：在步骤1)中，动画视频中带有特效片段是指通过专业制图软件Adobe Premier在收集到的包含特效的动画视频中裁剪获取的视频片段，其中特效种类包含雨、雪、飘落的花瓣和飘落的树叶；序列帧是指以25帧每秒在视频片段中进行采样得到的连续图像帧，通过数据预处理，将连续图像划分为以5为数量单位的序列帧：

式中，I表示输入是一个大小为连续5帧的序列帧，其中I₁表示第一帧，I₂表示第二帧，I₅表示第五帧；为实数集，C为通道数量，H和W表示帧的长度和宽度。

3.根据权利要求1所述的基于多尺度运动信息分离动画特效和背景内容的方法，其特征在于：在步骤2)中，计算输入的序列帧中每一帧与其它帧之间的单尺度特效预测图集合，包括以下步骤：

2.1)由光流估计神经网络FlowNet2计算得到每一帧I_i与序列帧中其它帧I_j|j≠i的光流估计，并通过光流仿射变换回

式中，V表示光流估计神经网络FlowNet2，I_i表示第i帧，I_j|j≠i表示第j帧且j不等于i，V(I_i,I_j|j≠i)表示计算从第i帧到第j帧的光流估计；W表示仿射变换，即将I_j|j≠i通过估计到的光流仿射变换回I_i，表示计算从第i帧到第j帧仿射变换的结果；

2.2)根据特效和背景内容运动场上速度和方向上差异的特点，计算得到每一帧I_i的单尺度特效预测图为：

式中，I_i表示第i帧，表示从第i帧到第j帧仿射变换的结果，表示I_i与仿射变换后的结果逐C通道计算欧式距离并累计求和得到的结果，D_i→j表示计算得到的I_i来自第j帧的单尺度特效预测图，为实数集，1为向量通道大小，H和W表示单尺度特效预测图的长度和宽度；

2.3)计算第i帧I_i到输入序列帧中所有其它帧I_j|j≠i的单尺度特效预测图后，得到I_i的单尺度特效预测图的集合D_i→j表示计算得到的第i帧来自第j帧的单尺度特效预测图，表示第i帧来自所有其它帧I_j的单尺度特效预测图的集合，其中j不等于i，i,j∈[1,5]表示i和j的取值在1到5的闭合区间。