[发明专利]一种用于低分辨率图像的人脸表情识别方法

说明书

本发明公开的一种用于低分辨率图像的人脸表情识别方法，属于模式识别和情感识别领域。本发明实现方法为：提取人脸区域和特征点信息，根据特征点将人脸区域对齐，裁剪得到人脸特征区域；提取特征区域边缘信息，通过判断有无边缘信息获得单图像特征矩阵，累加处理得到情感特征矩阵，去除冗余区域特征信息，保留显著区域特征信息；利用情感特征矩阵构建深度卷积神经网络强化对人脸特征区域中特征的提取，充分利用低分辨率图像的显著特征信息对卷积神经网络模型训练，提高低分辨率图像的情感特征识别精度；通过卷积神经网络模型降低模型训练参数量，提升训练、识别速度；采用Softmax回归模型对情感特征进行识别，实现基于低分辨率图像的高精度情感识别。

技术领域

本发明属于模式识别和情感识别领域，尤其涉及一种用于低分辨率图像的人脸表情识别方法。

背景技术

面部表情是传达人类情绪的基本方式。赋予计算机识别、理解和表达人的情感的能力，是实现良好人机交互的重要保障。随着深度学习特别是卷积神经网络在图像识别领域的广泛运用，使得图像中人脸表情识别具备越来越高的识别速率和准确率。然而，图像分辨率有高低之分，低分辨率面部图像通常缺乏足够的用于提取特征的视觉信息，从而导致面部表情识别方法的性能下降。低分辨率图像在情感计算领域中普遍存在，比如常用的CK+和JAFFE数据集中的人脸图像、距离镜头较远的人脸图像等。充分利用低分辨率图像的信息特征是提高低分辨率图像识别率的关键。

发明内容

本发明的目的是充分考虑低分辨率图像对表情识别的影响，提供用于低分辨率图像的人脸表情识别方法，该方法对人脸特征区域进行处理分析获得情感特征矩阵，并应用到深度卷积神经网络模型中来强化对人脸特征区域中特征的提取，能够充分利用低分辨率图像的特征信息对卷积神经网络模型进行训练，提高低分辨率图像的情感识别精度。

本发明的目的是通过下述技术方案实现的。

本发明公开的一种用于低分辨率图像的人脸表情识别方法，包括以下步骤：

步骤1：读取表情数据集图像，提取人脸区域和特征点信息，并根据特征点将人脸区域对齐，裁剪得到人脸特征区域；

步骤2：提取人脸特征区域边缘信息，通过判断有无边缘信息获得单图像特征矩阵，通过单图像特征矩阵累加处理得到情感特征矩阵，去除冗余区域特征信息，保留显著区域特征信息。

步骤3：利用情感特征矩阵构建深度卷积神经网络强化对人脸特征区域中特征的提取，充分利用低分辨率图像的显著特征信息对卷积神经网络模型进行训练，提高低分辨率图像的情感特征识别精度，此外，由于卷积神经网络模型仅需要相对高分辨图像较少的层数即能提取低分辨率图像特征信息，进而降低模型训练参数量，提升训练速度和识别速度。

步骤4：采用Softmax回归模型对步骤3的情感特征进行识别，得到情感类别，即实现低分辨率图像的高精度情感识别。

步骤1实现方法为：

步骤1.1：读取表情数据集图像，对输入图像进行人脸检测以及关键点检测，获取人脸区域并校准对齐；

步骤1.2：截取人脸区域并归一化为统一尺寸获得人脸特征区域；

步骤1.3：按照步骤1.1、步骤1.2的操作处理数据集中全部用于训练的图像，得到预处理之后的人脸特征区域数据集L1。

步骤2实现方法为：

步骤2.1：根据输入图像尺寸以及卷积神经网络模型确定特征矩阵维度，将统一尺寸的图像划分为n×n数量的特征块；

步骤2.2：对特征块进行边缘提取，对存在边缘的特征块将其单图像特征矩阵G中的对应位置系数置为1，不存在边缘的特征块置为0；

步骤2.3：从人脸特征区域数据集L1中随机选取l张图像，分别获得单图像特征矩阵G。情感特征矩阵M由公式(1)获得：