[发明专利]一种动作迁移模型的训练方法及动作迁移方法

说明书

本申请提供了一种动作迁移模型的训练方法及动作迁移方法，所述训练方法包括将源图像和驱动图像输入至待训练动作迁移模型，以使该模型根据初始模型参数获取源图像的源关键点坐标组和驱动图像的驱动关键点坐标组，并根据源关键点坐标组和驱动关键点坐标组，获取由源关键点坐标组变换至驱动关键点坐标组的光流图和重绘图，获取源图像的隐层特征图，根据隐层特征图、光流图和重绘图，获取目标图像，目标图像是将驱动图像中与驱动关键点坐标相关联的待迁移动作迁移至源关键点坐标后得到的图像；根据目标图像、源图像以及驱动图像，计算损失函数，并根据损失函数优化初始模型参数，直至达到模型收敛条件，完成训练，得到目标动作迁移模型。

技术领域

本申请涉及图像处理领域，尤其涉及一种动作迁移模型的训练方法及动作迁移方法。

背景技术

动作迁移是图像处理领域中一种重要的图像编辑技术，是指将驱动视频中的人物动 作迁移到源图像中的人物身上，在保留源图像中人物外观的基础上，使源图像中的人物与目标视频中的人物保持同步运动。

在现有的方案中，可采用三维(3-dimension，3D)的方式进行动作迁移，首先需要分 析源图像的像素数据，获取源图像中人物形象的像素位置信息，根据人物形象的像素位置信息构建该人物的3D模型，然后基于驱动视频，对该3D人物模型进行图像扭曲和融 合等处理，最终实现动作迁移的目的。

但是，采用3D建模的方式构建人物模型需要运用大量的数据并涉及复杂的运算，相 应的，在对该模型的实际训练过程中，不但需要消耗大量的计算资源，还会影响模型的训练效率。

发明内容

本申请提供了一种动作迁移模型的训练方法及动作迁移方法，降低了动作迁移模型 的训练成本，提升了动作迁移模型的训练效率。

一方面，本申请提供了一种动作迁移模型的训练方法，包括：

获取训练视频文件，所述训练视频文件包括源图像和驱动图像；

将所述源图像和所述驱动图像输入至待训练动作迁移模型，所述待训练动作迁移模 型根据初始模型参数执行以下步骤：

获取所述源图像的源关键点坐标组，所述源关键点坐标组是所述源图像的源关键点 坐标K_Sn合集；

获取所述驱动图像的驱动关键点坐标组，所述驱动关键点坐标组是所述驱动图像的 驱动关键点坐标K_Dn合集；

根据所述源关键点坐标组和所述驱动关键点坐标组，获取由所述源关键点坐标组变 换至所述驱动关键点坐标组的光流图和重绘图

获取所述源图像的隐层特征图，根据所述隐层特征图、所述光流图和所述重 绘图获取目标图像，所述目标图像是将所述驱动图像中与所述驱动关键点坐标K_Dn相关联的待迁移动作迁移至所述源关键点坐标K_Sn后得到的图像；

根据所述目标图像、所述源图像以及所述驱动图像，计算损失函数，并根据所述损失函数优化所述初始模型参数，直至达到模型收敛条件，完成训练，得到目标动作迁移 模型。

可选的，获取训练视频文件，所述训练视频文件包括源图像和驱动图像，包括：

获取训练视频文件，所述训练视频文件包括若干视频帧，提取任意两个视频帧，将其中一个视频帧确定为源图像，另一个视频帧确定为驱动图像。

可选的，获取所述源图像的源关键点坐标组之前，包括：

获取所述源图像的有效区域面积，将所述源图像的有效区域面积确定为第一面积， 计算所述第一面积在所述源图像中的面积占比；

判定所述第一面积在所述源图像中的面积占比是否小于第一预设值，所述第一预设 值是所述第一面积在所述源图像中的面积占比的阈值；