[发明专利]一种基于多仿射变换表征实现复杂动作迁移的方法

权利要求书

1.一种基于多仿射变换表征实现复杂动作迁移的方法，其特征在于，包括以下步骤：

步骤A.针对同一类目标对象，采集若干条视频序列构成数据集，用于训练动作迁移模型，转入步骤B；

步骤B.加载数据集中的第一条视频序列，转入步骤C；

步骤C.从加载的视频序列中任意挑选两帧图像，分别称为源图像与目标图像，构成训练数据对；通过动作迁移模型中的回归模块从上述两帧图像中估计得到n组仿射变换矩阵，n≥1，具体包括以下步骤：

步骤C01.从一段视频序列V中任意挑选两帧图像，记作源图像I与目标图像T，构成训练数据对；

步骤C02.将源图像I与目标图像T，在图像的通道维连接，得到输入张量，将输入张量作为动作迁移模型中回归模块E_regress的输入，回归模块输出n组仿射变换矩阵：

[A₁,A₂,...A_i...,A_n]＝E_regress(concat(I,T))

其中concat()表示通道维连接操作，A_i表示第i个仿射变换矩阵，A_n表示第n个仿射变换矩阵；

转入步骤D；

步骤D.将源图像和上述全部仿射变换矩阵作为蒙版生成器的输入，蒙版生成器生成等量的指示每个简单仿射变换发生位置的蒙版，结合所有仿射变换矩阵与其对应蒙版，生成全局采样网格，具体包括如下步骤：

步骤D01.n组仿射变换矩阵分别对应构建n个局部采样网格，再加上恒等变换所对应的局部采样网格，共得到n+1个局部采样网格；

步骤D02.上述n+1个局部采样网格分别对源图像I进行采样，得到n+1张被简单仿射变换后的源图像；

步骤D03.将上述n+1张被简单仿射变换后的源图像在通道维度连接，将连接后得到的张量作为蒙版生成器的输入，蒙版生成器生成n+1张元素值范围为0至1的蒙版；

步骤D04.根据n+1个局部采样网格和n+1张蒙版，计算目标对象复杂动作变化的全局采样网格：

对每一个局部采样网格使用对应的蒙版遮罩出其有效区域，最后对所有遮罩后的局部采样网格求和，即得到了全局采样网格；

转入步骤E；

步骤E.动作迁移模型中的生成模块通过全局采样网格和源图像重构虚假目标图像，并计算动作迁移模型的损失和，结合反向传播算法，训练一次模型，转入步骤F；

步骤F.重新加载下一条视频序列，返回步骤C，直至动作迁移模型收敛到具有良好的生成效果，得到训练好的动作迁移模型，转入步骤G；

步骤G.针对同一类目标对象，采集一段视频P和一张静态图像S，利用训练好的动作迁移模型，将视频P中的动作迁移到静态图像S上，生成具有静态图像S中对象的形貌和视频P中所含动作的新视频，以实现目标对象的复杂动作迁移。

2.根据权利要求1所述的基于多仿射变换表征实现复杂动作迁移的方法，其特征在于：步骤E中，动作迁移模型中的生成模块通过全局采样网格和源图像重构虚假目标图像，并计算动作迁移模型的损失和，结合反向传播算法，训练一次模型，具体包括如下步骤：

步骤E01.动作迁移模型中的生成模块将源图像I与全局采样网格作为图像生成器的输入，图像生成器生成重构后的虚假目标图像；

步骤E02.根据目标图像T和虚假目标图像计算动作迁移模型的损失和，再结合反向传播算法优化一次模型。