[发明专利]面向人体高保真视觉内容的多特征协同生成系统及方法

权利要求书

1.面向人体高保真视觉内容的多特征协同生成方法，其特征在于包括如下步骤：

步骤1、数据集的解析、选择与调整；

步骤2、人体视觉内容协同生成网络模型的搭建；

步骤3、对人体视觉内容协同生成网络模型的训练；

步骤4、生成结果的有效性评估。

2.根据权利要求1所述的面向人体高保真视觉内容的多特征协同生成方法，其特征在于步骤1具体实现过程如下：

1-1.选择并获取关于人体的图像数据集Ⅰ和与人体运动的视频数据集Ⅱ；

1-2.图像数据集Ⅰ用于提取人体形状特征表示，且同时该图像数据集Ⅰ能够用于人物外观纹理的生成；图像数据集Ⅰ的要求是能够利用人体解析工具获取人体部位分割掩码或者直接提供分割信息的高清人体图像数据集；

1-3.视频数据集Ⅱ用于人体姿态/动作信息提取，且是能够利用姿态检测器清晰识别人体姿态骨架或者直接带有2D关节点标签的单人视频数据集。

3.根据权利要求1所述的面向人体高保真视觉内容的多特征协同生成方法，其特征在于所述的图像数据集Ⅰ中的每张人体图像均包含高清人体图像和义分割掩码图。

4.根据权利要求1所述的面向人体高保真视觉内容的多特征协同生成方法，其特征在于为满足生成任务的可行性与普适性，需要选取具有不同特点和量级的多组数据集，一个图像数据集Ⅰ和与人体运动的视频数据集Ⅱ记为一组。

5.根据权利要求1所述的面向人体高保真视觉内容的多特征协同生成方法，其特征在于步骤2所述的该协同生成网络模型包括三个基本特征模块：姿态特征模块、形状特征模块和纹理特征模块；姿态特征模块、形状特征模块和纹理特征模块分别是针对人体运动/动作信息的姿态特征解析、针对人体形状的语义特征解析与针对人体外观的纹理特征解析；三个基本特征模块从不同的属性出发，协同引导人体视觉内容的生成，共同组成最终的生成网络模型。

6.根据权利要求5所述的面向人体高保真视觉内容的多特征协同生成方法，其特征在于所述的姿态特征模块用于对动作、骨骼和相机视角的特征融合，其中动作取自视频，骨骼与相机视角取自图像；将动作、骨骼和相机视角合并解码后得到所需生成内容的人体姿态骨架序列图，将该骨架序列输入到姿态编码器中，通过卷积神经网络对其进行编码，将其映射到高维空间中，作为视觉内容生成的姿态引导。

7.根据权利要求5或6所述的面向人体高保真视觉内容的多特征协同生成方法，其特征在于形状特征模块用于对输入人体图像的语义分割掩码图进行编码，将人体形状特征映射到生成空间，以引导形状特征模块在已知姿态特征的基础上进行人体各个部位的形状生成。

8.根据权利要求7所述的面向人体高保真视觉内容的多特征协同生成方法，其特征在于纹理特征模块是生成器的最后一个属性来源模块，纹理特征模块用于对输入的高清人体图像进行编码，得到高清人体图像的纹理特征；最后将纹理特征与姿态特征、形状特征进行融合，生成最终的人体视觉内容并送入协同生成网络模型的判别器中；此外判别器还需针对骨架序列图、掩码图与高清人体图像三个组成进行真伪鉴别，以反馈内容生成器所生成视觉内容的真实感，经过训练提高生成器的生成效果。

9.根据权利要求8所述的面向人体高保真视觉内容的多特征协同生成方法，其特征在于步骤3具体实现如下：由于人体视觉内容协同生成网络模型为多阶段生成对抗网络结构，整个网络模型先进行三个基本特征模块的编解码训练；然后将三个基本特征模进行融合，生成器输出最终的人体视觉内容并送入协同生成网络模型的判别器中；而后联合多特征判别器进行人体视觉内容的生成对抗训练，直到鉴别概率接近或达到0.5，完成训练。