[发明专利]一种基于生成对抗网络通过文本指导的人物图像生成方法

说明书

本发明公开了一种基于生成对抗网络通过文本指导的人物图像生成方法，属于计算机视觉领域。具体包括如下步骤：获取用于训练的人物图像数据集，并定义算法目标；获取人物图像数据集中所有图像的姿态信息，通过聚类算法从所有姿态信息中获取基本姿态；利用基于生成对抗网络的姿态预测器进行从文字到预测姿态的学习；使用S2～S3中学习得到的姿态预测器从文本中预测得到相应人物姿态；利用基于生成对抗网络的人物图片生成器进行符合文本描述的人物图片生成的学习，同时利用多模态误差建立图片子区域与文本之间的映射关系。本发明的基于生成对抗网络通过文本指导的人物图像生成方法，在图片生成、图片编辑、行人重识别等场景中，具有良好的应用价值。

技术领域

本发明属于计算机视觉领域，特别地涉及一种基于生成对抗网络通过文本指导的人物图像生成方法。

背景技术

文本指导的人物图像生成被定义为如下问题：根据目标文本的描述，同时改变参考图片中人物的姿态和属性(例如衣服颜色)达到与文本描述一致。近几年来，在计算机视觉任务如特定图片生成、图像检索、人物重识别等领域中生成方法起可以生成指定内容的图片，对数据集扩充、增加算法鲁棒性的重要作用。该任务主要有两个关键点：第一是如何从文本中预测人物的目标姿态，目标姿态应与文本描述相符，并作为人物姿态转变的指导。第二是如何同时改变参考图片中人物的姿态和属性，生成的图片中人物的姿态发生改变并且符合文字描述的属性。针对第一点，本发明认为人物姿态包含了姿态方向和姿态动作两个因素，姿态方向决定了动作面向的角度，姿态动作是人物肢体的变化。针对第二点，本发明在网络中嵌入了注意力上采样模块，在生成人物图片时有效整合多个模态(文字、姿态、图片)的数据，可以保证人物同时完成姿态变换和属性修改。先前的有些方法考虑了对人物姿态改变的问题，还有些方法针对文字-图像生成，而较少方法考虑根据文字的描述改变人物姿态和属性。

由于统计建模的有效性，目前基于学习的方法逐渐被应用到图片生成的任务中。现有的基于学习的方法主要采用生成对抗网络框架，输入一幅人物图像和目标文本，输出符合文本描述的人物图像。

发明内容

为解决上述问题，本发明的目的在于提供一种基于生成对抗网络通过文本指导的人物图像生成方法。在通过文本预测人物姿态的过程中，由于文本本身不包含明确的空间对应信息，我们先通过聚类方法获得了具有不同朝向的基本姿态，通过文本对特定的基本姿态进行局部和细节上的调整，得到符合文本描述的人物姿态。同时也需要考虑从文本中有效提取关键信息，文本中关于方向和动作的信息与人物姿态相关，而描述属性的信息与生成图片中人物视觉属性表现有关。另外，在生成人物图片的过程中，网络考虑了来自多个模态的数据(文字、姿态、图像)，针对多个模态特征的融合和表达，我们引入了注意力上采样模块。利用注意力机制关注文本中相关的信息，同时也完成人物姿态的变化。综合上述三个方面，我们设计了一个基于生成对抗网络的学习框架，使模型建立图片子区域与文本之间的联系，从而进行不同姿态、属性人物图片的特征表达。通过文本控制图片的生成对用户提供了便利性和友好性。

为实现上述目的，本发明的技术方案为：

基于生成对抗网络通过文本指导的人物图像生成方法，它包括以下步骤：

S1、获取用于训练的人物图像数据集，并定义算法目标；

S2、获取人物图像数据集中所有图像的姿态信息，通过聚类算法从所有姿态信息中获取基本姿态；

S3、利用基于生成对抗网络的姿态生成器进行从目标文字到预测姿态的学习；

S4、使用S2～S3中学习得到的姿态生成器从文本中预测得到相应人物姿态；

S5、利用基于生成对抗网络的人物图片生成器进行符合文本描述的人物图片生成的学习，同时利用多模态误差建立图片子区域与文本之间的映射关系。

S6、利用S5学习得到的人物图片生成器，输入参考图片和目标图片的描述文本，生成符合文本描述的人物图片。