[发明专利]一种基于面部分块的表情识别方法

说明书

一种基于面部分块的表情识别方法，包括以下步骤：1)使用面部分块构建全卷积表情识别网络：面部特征提取阶段采用两个互补型卷积网络，一个为基于图片时间信息的表情识别网络，用于提取整张人脸的整体特征，另一个是基于图片几何信息的表情识别网络，用于提取面部分块的局部特征；2)训练阶段：利用表情识别数据集训练网络，使用交叉熵函数作为损失函数，在过程中采用在线难例样本再训练策略；3)测试阶段：将测试图像输入网络，得到表情识别结果。本发明在特征提取阶段，充分利用图片信息和人脸关键点信息，构建两个互补型小型网络，提取人脸的整体特征和面部分块的局部特征，提高人脸表情识别的鲁棒性。

技术领域

本发明属于计算机视觉的技术领域，涉及多媒体技术中的图像识别，为一种基于面部分块的表情识别方法。

技术背景

表情识别是对一个给定的静止人脸图像或者动态的人脸图像序列，系统能确定图像中的一个人或者多个人的面部表情。因此表情识别系统大体可以分为两类，一种是静态图片表情识别系统，另一种是动态序列表情识别系统。在静态图片表情识别系统中，网络只考虑单张图片的几何特征，然而动态序列表情识别系统，还要考虑相关帧的时间特征。面部表情识别系统具体研究内容包括人脸检测、面部表情特征提取和面部表情识别。

人脸检测：即从各种不同的场景中检测出人脸的存在并确定其位置。这一部分系统一般在数据预处理阶段完成，对于目前表情数据集都是单张人脸，不存在多人的任务。而人脸检测目前有非常成熟的算法，在表情识别任务中，还包括更细节化的任务人脸关键点检测。

面部表情特征提取：即确定表示检测出的人脸表情和数据库中的已有的人脸面部表情的描述方式。类似于计算机视觉的其他领域，基于传统方法的表情识别系统，利用的是手工特征。其中代表方法包括局部二值模式(LBP)，非负矩阵分解(NMP)。而到2013年以后，出现体量大的数据集，比如FER2013、EmotiW等，为深度网络训练提供足够的数据量。同时，卷积神经网络在图像识别任务的突出表现，使得越来越多的人将深度网络用于表情识别的任务。基于深度网络的表情识别系统相对于传统方法的系统，在识别的准确率方面取得优异的成绩。

面部表情识别：将待识别的人脸面部表情和数据库中已知人脸面部表情相比，得出相关信息。深度网络将面部表情特征提取与面部表情识别任务结合，共同完成，实现端到端。网络输入一张人脸图像，网络输出关于这张图片的表情标签。

虽然相对传统方法，深度网络在表情识别领域，取得了优异成绩，但是需要改进的地方还是很多。

首先，深度网络需要大量的数据集进行训练，用来解决过拟合的问题，但是目前存在的表情识别数据集，并不支撑深度网络训练通用的网络结构，这些网络往往在一个数据集上表现优异，而换一个数据集表现的结果就大打折扣。比如实验室数据集和野外数据集，网络并不能完美的平衡在这两种数据集上的性能。往往，实验室数据集因为体量小，数据干净，网络的表现结果优异，而对于具有挑战的野外数据集，网络的整体表现比较差。

再而，现存的表情识别数据集存在明显的个体差异，比如年龄、性格、人种以及表情等级等。尤其是野外数据集，这类数据集为了解决实验室数据集中人工采集数据耗费大、体量小、标注困难的问题，采用由影视剧截取视频帧的方法，数据标签则由剧情推理而来。这些差异都对表情识别网络的训练产生重大影响。最后，在现实数据集中还存在主体特征差异，比如角度、光照、遮挡等。而这些在实验室数据中，采集条件是可以控制的，而对于野外数据集这种问题比较突出。

这些问题的出现，都预设表情识别网络的特征提取部分需要精心设计，从而加强网络的泛化能力，使表情识别系统能应用于现实中。

发明内容

本发明要解决的问题是：现有的表情识别方法大都是基于正面人脸图像的，只考虑脸部图片的整体特征，忽略了与表情密切相关的脸部运动肌肉块之间的联系，因而识别结果不够准确。