[发明专利]一种基于变分自编码器的人脸表情识别方法

说明书

本发明属于视觉图像处理领域，尤其涉及人脸表情识别技术领域，具体涉及一种基于变分自编码器的人脸表情识别方法。本发明首先利用卷积神经网络预测输入人脸图像的面部姿势，并且通过改进损失函数和调整人脸边界框的边距大小提高面部姿势估计的准确度，然后将经过处理的人脸图像输入到变分自编码器中，通过给定人脸图像中姿势和表情属性的概率分布，生成不同姿势和表情的人脸图像来扩充表情识别模型的训练集，从而解决模型在训练的过程中，由于头部姿势偏转造成的识别精度不高和缺乏足够的训练数据造成的过拟合问题。最后利用生成图像和原始图像一起作为训练数据对分类器模型进行训练，实现非正面人脸表情识别。

技术领域

本发明属于视觉图像处理领域，尤其涉及人脸表情识别技术领域，具体涉及一种基于变分自编码器的人脸表情识别方法。

背景技术

人脸表情识别是人脸识别技术的重要组成部分，现已广泛应用于处理各种计算机视觉任务。人脸表情识别是指利用计算机技术获取人脸表情图像、检测人脸表情区域、提取表情特征和对表情特征进行分类的过程。目前，人脸表情识别的方法主要分为两大类，即传统的人脸表情识别方法和基于深度学习的人脸表情识别方法。

传统的人脸表情识别方法主要包括主成分分析法(PCA)、独立分量分析法(ICA)、几何法、光流法、模型法。传统的人脸表情识别方法主要根据人脸产生表情时的人脸形状和纹理的不同来区分不同的面部表情，具有易于理论证明和实现简单等优点，然而识别精度并不理想，不能很好地推广到现实的各种应用场景中。

基于深度学习的人脸表情识别方法在计算机视觉处理方面不断取得突破，由于深度学习中的神经网络，特别是卷积神经网络(CNN)，能够有效地从人脸表情图像中提取表情特征信息，并且对于提取的表情特征能够进行有效地预测分类，大大提高了人脸表情识别的效率和准确率。目前，基于深度学习的人脸表情识别研究中，还可以通过对网络层的卷积神经网络层，递归神经网络层和全连接层等进行组合形成新的网络形式。

然而，现有的人脸表情识别研究面临着五大难题，它们分别是面部姿势的偏转、面部的配准误差、面部上有遮挡物、光照的变化和不同身份的差异。其中，面部姿势的偏转是造成配准误差和面部遮挡的一个重要原因。但是大多数方法在解决人脸表情识别时没有考虑到非正面人脸图像的特殊性，当涉及到人脸检测和面部姿势估计时又分开进行处理，无法构成一个统一的完整系统，不是一种端到端的方法。并且在非正面的人脸表情识别模型的训练过程中，由于缺乏足够的训练样本，容易导致过度拟合问题。

发明内容

本发明的目的在于提供解决非正面人脸表情识别研究过程中由于头部姿势偏转、配准误差带来人脸信息的缺失以及缺乏足够的训练样本而造成的过拟合问题，提高人脸表情识别的准确度的一种基于变分自编码器的人脸表情识别方法。

本发明的目的通过如下技术方案来实现：包括以下步骤：

步骤1：输入待识别的人脸图像数据集，取部分人脸图像构建训练集；

步骤2：通过Lib人脸检测算法对训练集中人脸图像进行处理，获得每幅图像中人脸的方形边界框；

步骤3：从训练集中选择一幅带有方形边界框的人脸图像，在边界框的基础上基于不同的边距对人脸图像进行裁剪，获得不同边距的人脸方形边界框图像；

步骤4：将不同边距的人脸方形边界框图像输入到预先训练好的卷积神经网络模型中，卷积神经网络模型输出人脸图像的三个欧拉角，即左右翻转角、平面旋转角、上下俯仰角；

步骤5：通过组合损失函数，比较不同边距下人脸图像欧拉角的平均误差，确定最优的边距K；将最优边距K时卷积神经网络模型输出的三个欧拉角作为人脸图像的面部姿势；

步骤6：判断是否完成训练集中全部人脸图像的面部姿势提取；若未完成，返回步骤3；

步骤7：将训练集中的人脸图像输入到变分自编码器中进行训练；