[发明专利]动作图像生成方法、模型构建方法、设备及存储介质

权利要求书

1.一种动作生成模型的构建方法，其特征在于，所述方法包括：

获取目标人物的第一图像集和第二图像集，所述第一图像集和第二图像集包括关于所述目标人物动作的序列图像；

根据所述第一图像集的序列图像进行三维重建，得到多个第一3D模型；

获取所述目标人物的纹理图，根据所述纹理图对所述多个第一3D模型进行贴图，得到多个纹理贴图；

对所述多个第一3D模型进行投影，得到多个2D投影图像；

根据所述第二图像集的序列图像、所述2D投影图像和所述纹理贴图，构建动作生成模型。

2.根据权利要求1所述的方法，其特征在于，所述动作生成模型包括主干网络模型、第一分支网络模型和第二分支网络模型；

其中，所述第一分支网络模型用于将所述第二图像集的序列图像与所述第一图像集的序列图像的对齐特征融合在所述主干网络模型，所述第二分支网络模型用于将纹理贴图对应的纹理特征融合在所述主干网络模型，所述主干网络模型用于根据所述2D投影图像、对齐特征和纹理特征生成动作图像。

3.根据权利要求2所述的方法，其特征在于，所述主干网络模型包括生成式对抗网络，所述第一分支网络模型和第二分支网络模型包括Encoder-Decoder网络。

4.根据权利要求2所述的方法，其特征在于，所述多个2D投影图像构成图像序列；所述方法包括：

获取当前2D投影图像在所述图像序列中的前帧2D投影图像，其中，所述当前2D投影图像为当前时刻需要输入至所述主干网络模型的2D投影图像，所述前帧2D投影图像为已输入至所述主干网络模型的2D投影图像，所述前帧2D投影图像与所述当前2D投影图像是连续的；

获取所述前帧2D投影图像对应的渲染图像，其中，所述渲染图像为所述前帧2D投影图像输入至所述主干网络模型得到的输出图像；

将所述当前2D投影图像、前帧2D投影图像和所述渲染图像输入至所述主干网络模型，得到动作图像。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

根据所述第二图像集的序列图像进行三维重建，得到多个第一3D模型；

基于所述第二图像集和所述第一图像集对应的所述第一3D模型，利用质心坐标计算所述第二图像集的序列图像和所述第一图像集的序列图像之间像素的流映射关系；

其中，所述流映射关系用于确定所述第二图像集的序列图像与所述第一图像集的序列图像的对齐特征。

6.根据权利要求5所述的方法，其特征在于，所述方法包括：

根据所述流映射关系，确定所述第二图像集的序列图像对应的仿射变换图；

将所述第二图像集的序列图像以及对应的仿射变换图，输入至所述第一分支网络模型，重建所述第二图像集的序列图像；

利用所述流映射关系将所述第一分支网络模型的编码端的特征进行对齐得到对齐特征，并将所述对齐特征融合至所述主干网络模型的解码端。

7.根据权利要求2所述的方法，其特征在于，所述方法还包括：

利用所述第二分支网络模型的反向传递梯度至所述纹理图，以对所述纹理图进行更新；以及

根据更新后的所述纹理图对所述多个第一3D模型进行贴图，得到纹理贴图。

8.根据权利要求2所述的方法，其特征在于，所述主干网络模型输出渲染图像和权重图像，所述第二分支网络模型输出纹理图像，所述动作生成模型输出的动作图像表示为：

P_final＝P_series*M+P_texture*(1-M)

其中，P_final表示动作图像，P_series表示渲染图像，M表示权重图像，P_texture表示纹理图像。