[发明专利]一种基于样例的动态纹理迁移方法及系统

权利要求书

1.一种基于样例的动态纹理迁移方法，将单样本动态纹理迁移任务进行分解，首先合成具有所需动态纹理的目标视频的起始帧；然后将合成图像分解为结构无关的纹理图块，根据纹理图块，利用图像离散化隐空间表示算法VQ-VAE的Transformer模型来生成长离散序列，并预测目标视频初始帧相应的后续纹理图块；再采用高斯加权平均合并策略将预测解码得到的目标视频纹理图块平滑地组合到目标风格化视频的每一帧中，输出自动生成的目标动态特效视频，由此实现动态纹理迁移；包括以下步骤：

第一步，输入一组样例，包含源语义图、源动态特效字和目标语义图；

第二步，搜索源动态特效字和目标视频初始帧的公共最近邻场NNF，生成目标视频初始帧；

第三步，将图像离散化隐空间表示算法VQ-VAE改进为小规模版本图像离散化隐空间表示算法；使用改进后算法从源动态特效字中学习纹理图块，并将纹理图块压缩为紧凑的离散化隐空间表示，即编码字典索引；包括：

31)将源动态特效字和目标视频起始帧中的每一帧切分为重叠的图块，即将输入图像分解为结构无关的图块，并在后面的过程中独立处理，从而使得模型可以学习视频的纹理信息而忽略结构信息；同时通过数据增强产生神经网络模型的训练数据；

32)图块为重叠的，使得模型学习到相邻区域之间的连续性，并鼓励模型生成平滑的结果；

33)使用图像离散化隐空间表示算法VQ-VAE的Transformer来预测长时间的后续图块序列需要学习的编码字典，有效地压缩图块；

34)使用VQ-VAE从源动态特效字中学习纹理图块，并将图块压缩为紧凑的隐空间索引，即编码字典条目索引；

35)在源动态特效字所有帧的纹理图块上训练VQ-VAE的编码器和解码器，再根据编码字典条目索引表示图块；

第四步，利用Transformer预测后续可能的离散化隐空间表示序列；

在训练阶段，将后续序列的图块索引连接成一个长序列作为目标序列，得到训练好的Transformer模型；预测阶段具体是将初始帧图块的索引馈入Transformer模型，然后输出目标视频后续图块序列的预测索引；每个合成图像图块模仿从源图块学习到的纹理变化，同时隐式地获取运动特性；

第五步，在获得后续序列中的预测图块索引之后，使用训练好的VQ-VAE的解码器对预测的图块索引进行解码，并将其分配给相应的帧，形成目标视频；

通过上述步骤，即实现基于样例的动态纹理迁移。

2.如权利要求1所述基于样例的动态纹理迁移方法，其特征是，第二步生成目标视频初始帧，包括如下步骤：

21)分别根据源语义图和目标语义图计算源距离图和目标距离图，其中距离为计算得到每个像素和文本轮廓之间的归一化距离；

22)利用PatchMatch算法，通过在源语义图和目标语义图的轮廓内和轮廓附近增强纹理连续性，找到最相似、距离最小的最优匹配，保证目标视频初始帧的空间一致性；

在PatchMatch的传播步骤中，通过已计算出的源距离图和目标距离图作为传播引导信息，使纹理效果从文本轮廓向外扩散传播，得到公共近邻场NNF；

23)根据得到的公共近邻场NNF以及源动态特效字起始帧，生成目标视频起始帧。

3.如权利要求1所述基于样例的动态纹理迁移方法，其特征是，步骤33)具体是通过使用VQ-VAE的编码字典输入索引来表示图像。

4.如权利要求1所述基于样例的动态纹理迁移方法，其特征是，步骤35)具体包括如下过程：

给定一个图块x，将x的编码字典索引表示为I_x；I_x中的元素是编码字典中与Z_q相关的所有元素中最接近的条目；

将I_x映射到Z_q，然后通过解码器解码Z_q恢复图块x；在后续步骤中，以相同的方式恢复预测的后续图块索引序列；

利用VQ-VAE将图块编码为隐空间索引，实现高效的长序列预测：包括利用VQ-VAE从结构无关的图块中学习纹理信息，将图块表示为高质量的隐空间索引，并通过对隐空间索引的操作生成新的图块；通过VQ-VAE将图块图像转换为隐空间索引实现高压缩率，降低深度序列预测负担，从而实现长序列预测。