[发明专利]人脸表情识别方法、装置、设备及存储介质

说明书

本发明提供了一种人脸表情识别方法、装置、设备及存储介质，该方法包括以下步骤：从人脸表情图像中选取训练数据集和待识别数据集；构建基于残差神经网络的人脸表情识别模型；从训练数据集中选取部分人脸表情图像，输入人脸表情识别模型，进行迭代训练，获得训练后人脸表情识别模型；从待识别数据集中选取部分人脸表情图像，输入训练后人脸表情识别模型，进行人脸表情识别，获得人脸表情分类结果。本发明不仅能够准确识别分类人脸表情，而且在复杂的现实情况下，使用训练出来的残差神经网络模型实时预测，可以减少计算时间，快速实现人脸表情识别。

技术领域

本发明涉及图像处理技术领域，具体涉及一种人脸表情识别方法、装置、设备及存储介质。

背景技术

近年来，随着科学的发展，数字图文信息处理开始逐步向图像的情感识别和计算等方向深入探索。而随着人工智能的兴起，人机交互领域的研究热点也逐渐增多。与计算机学、生物学、心理学等学科都有所相关的人脸表情识别问题，也成为研究热点之一，是一个有研究前景和研究价值的方向，其应用可以推广到舆情分析、人机交互、医疗、疲劳驾驶监督等领域。例如，在智能包装领域，通过摄像头捕获顾客表情，分析其面部表情解读出顾客的情绪信息，可以用于评测顾客对于商品包装的体验满意度；商品推荐系统可以参考人们在浏览各类商品时的表情进行分析并进而判断其喜爱程度，将喜爱程度值加入推荐系统以便向消费者推荐更受欢迎的商品。人机交互中机器人面部表情识别系统也可通过识别用户表情来综合判断用户的情绪和心理，做到更为人性化的服务等。并且，在辅助医疗领域、远程教育领域、智慧交通领域、视频推荐等领域，人脸表情识别也具有广阔的应用背景。

传统的人脸表情识别系统中，特征提取方法难以提取出人脸表情中隐藏较深的特征，而CNN等深度学习算法虽然可以提取出人工难以想到的特征，但训练复杂神经网络需要大量的计算成本与训练时间。表情识别研究中表情特征提取和分类识别是提高识别率的关键点也是难点，人脸表情识别系统的准确程度绝大部分受特征提取和分类两步骤所影响，应设计出端到端训练的网络用于系统整体准确率的提升。人脸表情图像亮度、背景和姿势会有所不同，在表情识别系统中应尽可能的过滤图像中的无关信息，对人脸进行提取，并进行一定的预处理，便于模型更好的分析人脸表情的特征。因此传统复杂神经网络人脸识别系统计算成本高、训练时间长且识别精度低是亟待解决的技术问题。

发明内容

鉴于传统复杂神经网络人脸识别系统计算成本高、训练时间长且识别精度低的问题，本发明提供了一种基于残差神经网络的人脸表情识别方法，以一种端到端的方式，提前训练好残差神经网络模型，利用下采样和池化等优化技巧减少参数、精简模型结构，得到了具有高精确率的表情分类模型。再结合人脸检测器，对视频中的人脸进行提取，加载表情识别模型，实现对视频中人脸的实时表情分类任务。

本发明一种人脸表情识别方法包括以下步骤：

从人脸表情图像中选取训练数据集、数据集和待识别数据集；

构建基于残差神经网络的人脸表情识别模型；

从所述训练数据集中选取部分人脸表情图像，输入所述人脸表情识别模型，进行迭代训练，获得训练后人脸表情识别模型

从待识别数据集中选取部分人脸表情图像，输入所述训练后人脸表情识别模型，进行人脸表情识别，获得人脸表情分类结果。

进一步地，在所述从人脸表情图像中选取训练数据集和待识别数据集之前，还包括：

选用Haar特征和Adaboost级联分类器的组合，筛掉人脸以外区域，获取人脸坐标，检测人脸关键点；

根据所述关键点对人脸区域进行截取，获得人脸区域图像；

对所述人脸区域图像进行亮度归一化和灰度归一化处理，获得所述人脸表情预处理图像。

进一步地，所述从训练数据集中选取部分人脸表情图像，输入所述人脸表情识别模型，进行迭代训练，获得训练后人脸表情识别模型，具体包括：