[发明专利]基于生成对抗网络数据增强的人脸表情识别方法和装置

说明书

本发明公开了一种基于生成对抗网络数据增强的人脸表情识别方法，包括：获取训练数据且对训练数据进行预处理；根据训练目标，构造CycleGAN模型与卷积神经网络模型；将CycleGAN模型的原本的损失函数、卷积神经网络模型的损失函数与训练目标进行结合；对CycleGAN模型进行训练，使用训练完成的CycleGAN模型进行数据增强；对卷积神经网络模型进行训练，使用训练完成的卷积神经网络分类器在测试集上验证卷积神经网络分类器的准确率。本公开提供的方法通过生成对抗网络生成图像，进行数据增强，然后训练分类器，提高了模型准确率。本公开还提供了一种基于生成对抗网络数据增强的人脸表情识别装置。

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种基于生成对抗网络数据增强的人脸表情识别方法和装置。

背景技术

人脸表情是人们之间非语言交流时的最丰富的资源和最容易表达人们情感的一种有效方式，在人们交流中起到很重要的作用。人脸表情识别技术随着人们对表情信息的日益重视而受到关注，成为目前一个研究的热点。

对于这类图像分类的问题，有个很明显的问题就是类别不平衡，就像那些中性表情的图像，明显多于那些带有感情色彩的表情图像，例如，悲伤之类的，这些类别不平衡，增加了训练的难度。

在本发明中，使用了对抗网络进行图像生成，达到拓展数据集的目的，与传统的方法不同的是，传统方法使用的是一些图像处理，加一些噪声或者对图像进行角度改变之类的手段，来生成新的图像。而使用生成对抗网络进行生成的时候，不是在原来的图像上，稍微的做点线性变换、加点噪声或者旋转角度之类的操作，而是生成一些原来不存在的图像，例如在那些没有表情的图像上，进行处理，那些图像的表情变成悲伤的，而图像的其他部分并没有改变。一般来说，数据量越大，模型能够更好地学习到数据的规律，效果越好。

发明内容

基于此，有必要针对传统技术存在的问题，提供一种基于生成对抗网络数据增强的人脸表情识别方法和装置。具体的，本发明提供了一种基于生成对抗网络数据增加方法的情感分类方法，该方法通过生成对抗网络生成图像，来弥补原本中数据类别不平衡的问题，或者数据集很小的问题，进行数据增强，然后训练分类器，从而提高了模型准确率。在该过程中，使用的是CycleGAN来进行数据增强，它可以将一类数据转换为另一类数据，在本发明中，是使用它将无表情的图像转换成带表情的图像，从而可以增加那些带表情的图像数据量很少的问题，最后使用它们来进行预训练卷积神经网络分类器，提高了模型的准确率。

第一方面，本发明实施例提供了一种基于生成对抗网络数据增强的人脸表情识别方法，所述方法包括：获取人脸图像数据集作为训练生成对抗网络的训练数据，对所述训练数据进行预处理；根据训练目标，构造CycleGAN模型与卷积神经网络模型；将所述CycleGAN模型的损失函数、所述卷积神经网络模型的损失函数和所述训练目标进行结合；对所述CycleGAN模型进行训练，且使用训练完成的所述CycleGAN模型进行数据增强；对所述卷积神经网络模型进行训练，且使用训练完成的卷积神经网络分类器在测试集上验证所述卷积神经网络分类器的准确率；其中，所述模型用于进行数据增强，所述卷积神经网络模型用于进行数据分类。

在其中一个实施例中，所述获取人脸图像数据集作为训练生成对抗网络的训练数据，包括：获取预先标注的人脸表情图像数据。

在其中一个实施例中，对所述训练数据进行预处理，包括：判断获取的多张所述人脸图像是否具有相同尺寸；当所述人脸图像的尺寸不一致时，则对不一致的所述人脸图像按照预设的尺寸对所述人脸图像进行裁剪，且调整裁剪后的所述人脸图像的长宽比。

在其中一个实施例中，还包括：对所述CycleGAN模型的损失函数进行定义，以及对所述卷积神经网络模型的损失函数进行定义。