[发明专利]多角度人脸表情图像的生成与识别方法

摘要

本发明公开了一种多角度人脸表情图像的生成与识别，将人脸局部关键特征与全局关键特征融合，并将对抗生成一致性网络CTGAN和卷积神经网络融合，形成了判别侧脸表情类别的深度神经网络，将四通道的侧脸图片送到生成器进行训练，而不是传统中将随机变量作为输入，从而最大化的保存了侧脸图片的特征信息，可以更有效的建立从侧脸到正脸图片的映射关系，提升整体识别准确率；将多种特征融合并使用卷积神经网络CNN对提取到的特征进行分类，能够极大的提升多角度人脸表情识别的准确率和鲁棒性。

主权项

1.一种多角度人脸表情图像的生成与识别方法，其特征在于包括以下步骤：步骤A，构建多角度的人脸表情库，人脸表情库的表情包括但不限于:害怕,轻蔑，高兴，惊讶，生气，嫌弃，悲伤,中性，尖叫，眨眼；摄像机拍摄角度包括但不限于为0°，15°，45°,75°,105°，180°；获取上述各种拍摄角度拍摄的图像并取45°摄像机拍摄图像为正脸表情图像；然后对上述各个角度的人脸图像进行配准，得到配准后的人脸表情图像集；步骤B，构建对抗生成一致性网络CTGAN，对抗生成一致性网络CTGAN由正向对抗生成对抗网络和反向对抗生成对抗网络构成的环形网络；步骤C，将人脸表情库的除正脸表情图像以外的侧脸表情图像进行人脸局部关键区域与人脸全局关键区域融合，融合后的侧脸表情图像与原始侧脸表情图像一起输入正向对抗生成网络FAGAN中进行学习与训练，由正向对抗生成网络生成正脸表情图像；步骤D，将生成的正脸表情图像输入反向对抗生成网络BKGAN反向生成侧脸表情图像，然后将反向生成的侧脸表情图像与原侧脸表情图像分别在各自对应的对抗生成网络中进行判别以接受反向生成的侧脸表情图像；若确保反向生成的侧脸表情图像被对抗生成网络接受，反向对抗生成网络BKGAN将不断学习和训练直至生成与原始侧脸表情图像相比也无法判别的侧脸表情图像；步骤E，将上述的通过反向对抗生成网络BKGAN反向生成侧脸表情图像的正脸表情图像输入到由正脸图像训练好的人脸检测器FADTC中，进行表情识别。