[发明专利]一种融合注意力机制的表情合成方法

说明书

本发明公开了一种融合注意力机制的表情合成方法。该方法为：获取人脸表情数据集，对数据集进行关键点检测和图像裁剪；按照表情的不同类别将同一类表情划分在一起，将每类表情数据划分成训练集和测试集，根据不同的表情强度将训练集手动地划分为不同的类别；以表情强度作为条件标签，构建条件生成对抗网络，在生成网络中同时融合通道和空间两种注意力机制，使用带有分类器的鉴别网络同时判别输入图像的真假和强度类别；使用预处理后的训练集对网络进行训练，调节参数使模型达到最优，以测试集中的中立表情作为输入，得到不同强度的人脸表情图像。本发明能由中立表情图像合成具有不同强度的人脸表情图像，方法方便直观且合成的表情图像真实生动。

技术领域

本发明涉及深度学习和图像处理技术领域，特别是一种融合注意力机制的表情合成方法。

背景技术

人脸图像合成是计算机视觉和图形学领域一个广泛研究的课题。面部表情不仅是一种微妙的形体语言，更是人们传递情感信息的重要方式。近年来，随着计算机信息技术和服务的发展，人们越来越希望计算机的通信能够表现出拟人化的感情，在人机交互中提供一种全新的沉浸感，这也推动了表情合成的发展。面部表情合成也成为当前研究热点之一，具有广泛的应用如人机交互，虚拟现实，数字娱乐等领域。

由于不同表情之间存在人脸面部几何的非线性变化，而且不同个体的表情变化强度也是不同的，因此面部表情的合成工作具有一定的挑战性。在表情合成方面，现有的工作大部分关注于合成七种典型表情如快乐，悲伤，惊讶，愤怒等，但表情是一个变化的过程，当合成具有不同强度的表情时，会存在缺少数据标签的问题。目前关于不同强度表情合成方法大致分为两类：(1)无监督方法，利用面部几何信息进行插值拉动面部肌肉运动使人脸变形或者人工设计表情编码模块学习表情之间的变化；(2)有监督方法，使用带有表情强度标签标注的数据集进行训练。

然而，第一类方法不能很好到捕捉不同表情强度的变化过程，如面部皱纹等，导致生成的表情不自然，不够逼真；另外通过这类方法生成的图像有时候会存在缺乏精细的细节部分，往往是模糊的或者低分辨率的。第二类方法要求数据必须标注表情强度，然而在实际应用中，表情的强度是很难用一个统一的标准去定义的，这类方法虽然能实现细粒度控制，但具有局限性。

发明内容

本发明的目的在于提供一种能够通过中立无表情人脸图像合成具有不同强度的人脸表情，方法直观便捷，合成的表情强度生动且人脸真实性强的表情合成方法。

实现本发明目的的技术解决方案为：一种融合注意力机制的表情合成方法，包括以下步骤：

步骤1，获取人脸表情图像的数据集；

步骤2，对表情数据集进行预处理，首先获取人脸图像的关键点信息，根据关键点位置将图像裁剪为统一大小，然后将同一类别的表情图像划分在一起，将同类表情图像划分为训练集和测试集，将训练集根据不同的表情强度手动划分成不同的类别；

步骤3，以表情强度作为条件标签，构造条件生成式对抗网络，融合通道和空间两种注意力机制，使生成的网络更关注与表情变化相关的面部部位，使用带有分类器的鉴别网络同时判别输入图像的真假和强度类别；

步骤4，在步骤3构造的网络中加入人脸图像的身份信息，使生成图像前后身份信息不变性；

步骤5，使用预处理后的表情数据集对步骤4中的网络进行训练和测试，调节网络参数，使生成图像效果达到最优；

步骤6，将测试集中的中立表情输入到训练好的条件生成对抗网络，合成带有不同强度的人脸表情图像。

本发明与现有技术相比，具有以下优点：(1)在不使用额外的表情编码等信息的辅助下，也能合成具有不同表情强度的人脸图像，方法方便直观；(2)使用了注意力机制帮助学习不同表情强度对应面部的细微变化，能合成更生动的人脸表情；(3)合成的人脸图像更加真实自然，在图像合成前后也能很好地保持身份信息。

附图说明