[发明专利]一种基于多仿射变换表征实现复杂动作迁移的方法

说明书

本发明公开了一种基于多仿射变换表征的复杂动作迁移方法，该方法将同一对象两个动作状态间的运动变化表征为多个与对象形貌无关的图像仿射变换，使得这种动作的变化得以在不同的对象间迁移。一方面，仿射变换这一简单的信息表征便于计算，因此提高了模型的推理速度。另一方面，多仿射变换的表征方式极大的保留了动作信息，提高了图像的生成质量。

技术领域

本发明涉及计算机视觉中图像生成领域，提出了一种基于多仿射变换表征实现复杂动作迁移的方法。

背景技术

动作迁移方法的目的是将一段视频中的动作信息迁移到一张静态的图像上，从而生成一段新的视频片段，该视频片段具有静态图像所包含的对象外貌和输入视频中对象所做动作。该技术广泛用于影视制作，换脸，视频会议，电子商务等领域。此外，随着短视频领域的爆发从而产生的对视频特效方面的需求，使得动作迁移方法吸引了越来越多的关注。

目前的动作迁移方法为了产生良好的图像生成质量，大多是采用了基于深度学习的有监督方法。有监督方法需要昂贵的人工标注数据，这对于该技术的广泛应用产生了阻碍。此外，基于无监督方法的动作迁移研究主要面临着生成质量不高，推理速度较慢的挑战。

Chan等人在论文《Everybody Dance Now》中提出了从人体的关键点信息生成真实的人体图像的方法，通过输入不同的关键点信息，生成对应姿态的人，以实现动作迁移。然而该方法不仅借助于一个有监督方法训练的检测模型，而且对于每一个不同的人都要去训练一个新的动作迁移模型，如此巨大的开销限制了该方法的实用性。

Siarohin等人在论文《First Order Motion Model for Image Animation》中提出了自监督的动作迁移方法，然而该方法计算复杂，模型臃肿，需要两次计算才能表征动作信息。这些缺陷影响了动作迁移的实时性。

发明内容

本发明的目的在于提供一种基于多仿射变换表征实现复杂动作迁移的方法，避免了对昂贵标注数据的需求，降低动作迁移模型的计算量，提高模型的推理速度，并且提高生成图像的准确性。

实现本发明目的的技术解决方案为：一种基于多仿射变换表征实现复杂动作迁移的方法，该方法包括以下步骤：

步骤A.针对同一类目标对象，采集若干条视频序列构成数据集，用于训练动作迁移模型，转入步骤B。

步骤B.加载数据集中的第一条视频序列，转入步骤C。

步骤C.从加载的视频序列中任意挑选两帧图像，分别称为源图像与目标图像，构成训练数据对；通过动作迁移模型中的回归模块从上述两帧图像中估计得到n组仿射变换矩阵，n≥1，转入步骤D。

步骤D.将源图像和上述全部仿射变换矩阵作为蒙版生成器的输入，蒙版生成器生成等量的指示每个简单仿射变换发生位置的蒙版，结合所有仿射变换矩阵与其对应蒙版，生成全局采样网格，转入步骤E。

步骤E.动作迁移模型中的生成模块通过全局采样网格和源图像重构虚假目标图像，并计算动作迁移模型的损失和，结合反向传播算法，训练一次模型，转入步骤F。

步骤F.重新加载下一条视频序列，返回步骤C，直至动作迁移模型收敛到具有良好的生成效果，得到训练好的动作迁移模型，转入步骤G。

步骤G.针对同一类目标对象，采集一段视频P和一张静态图像S，利用训练好的动作迁移模型，将视频P中的动作迁移到静态图像S上，生成具有静态图像S中对象的形貌和视频P中所含动作的新视频，以实现目标对象的复杂动作迁移。

与现有技术相比，本发明的优点在于：

(1)本发明是基于自监督深度学习的方法，在便宜易得的视频数据上进行模型的训练，无需昂贵的人工标注数据，可以大大节省部署成本。