[发明专利]一种基于样例的动态纹理迁移方法及系统

说明书

本发明公布了一种基于样例的动态纹理迁移方法及系统，将单样本动态纹理迁移任务分解为两个阶段；其中，第一阶段合成具有所需动态纹理的目标视频的起始帧；在第二阶段，将合成图像分解为结构无关的纹理图块，根据纹理图块，利用图像离散化隐空间表示算法VQ‑VAE的Transformers模型来生成长离散序列，并预测相应的后续纹理图块；再采用高斯加权平均合并策略将纹理图块平滑地组合到目标样式化视频的每一帧中，输出自动生成的目标动态特效视频，由此实现动态纹理迁移。本发明将视频样例的动态效果自动转换为目标形状或图像，显著提高动态纹理的设计效率，能够处理仅有一个样例的迁移任务，还可保留精细纹理的细节。

技术领域

本发明属于计算机图形学技术和人工智能技术，涉及一种基于样例的动态纹理迁移方法及系统，能够将给定视频的动态纹理自动迁移到目标静止图像上。

背景技术

如今，随着计算机和网络技术的飞速发展，动态纹理已经在各种媒体中流行起来，如电影、数字海报、广告和在线聊天。与静态图像相比，动态特效图像更具吸引力，因此可以在许多场景中显著增强气氛。然而，设计一套动态特效图像通常需要专业设计师大量的时间精力投入。以艺术动态文本为例，字体设计者需要逐帧设计特殊的动态文本效果，并将这种动态效果应用到整个字体库中的不同字符上，这是一项极度费时费力的工作。

目前，动态纹理迁移技术将给定视频样例的动态效果自动转换为目标形状或图像，能够显著提高动态纹理的设计效率。与静态纹理迁移相比，动态纹理迁移任务需要同时考虑图像内部的空间信息和所有帧之间的时间信息。此外，还需要避免视频合成过程中出现的火焰闪烁和抖动问题。

已有的动态纹理迁移工作包括，Men等人在文献(Men,Yifang,et al.DynTypo:Example-based Dynamic Text Effects Transfer.Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition.2019.)中提出了将静态语义图根据目标视频进行风格化。具体而言，该文献采用的方法使用公共最近邻场(NNF)和基于距离的权重图来同时指导所有关键帧的纹理合成过程，这已被证明能够有效地缓解时间伪影。但是，当所需的动态纹理不稳定时，从样本视频中提取的关键帧将产生移动，并且基于关键帧的相应共享NNF将因移动而失效。因此，在这种情况下，该方法的纹理迁移结果将在所有帧中失去其空间一致性。此外，由于上述方法受到时域中常见NNF的强烈限制，视频帧的相关性没有得到适当利用，因此在其视频合成结果中仍然存在一些不和谐区域。

另一方面，现有的基于神经网络的方法通常需要大量数据来训练其模型，而这些神经网络模型无法处理仅有一个样例的迁移任务。此外，深度学习模型通常需要在训练期间将所有图像调整到一定的对齐比例和分辨率，而这会导致精细纹理的细节丢失。

发明内容

为了克服现有技术存在的不足，本发明提供了一种基于样例的动态纹理迁移方法及实现系统，将给定视频样例的动态效果自动转换为目标形状或图像，能够显著提高动态纹理的设计效率。本发明方法同时考虑了图像内部的空间信息和所有帧之间的时间信息，还可避免视频合成过程中出现的火焰闪烁和抖动问题。本发明能够处理仅有一个样例的迁移任务，还可保留精细纹理的细节。