[发明专利]基于深度学习的人脸表情识别方法及装置

说明书

技术领域

本发明涉及一种基于深度学习的人脸表情识别方法及装置，属于图像处理及计算机视觉技术领域。

背景技术

人脸表情携带着很大的信息量，通过分析人脸表情，进而分析人类的心理活动和精神状态，具有广泛的应用前景，目前已在互动游戏平台、安全驾驶提醒、远程教育系统、智能交通、辅助医护等方面取得了良好的应用效果。

随着信息技术的发展，深度学习技术已经在信号处理和计算机视觉等领域引起较大的反响，其本质是通过构建含有多层神经网络和海量的训练样本，把低层特征组合起来形成高层特征进行表示，进而增强模型的分类或预测能力。区别于支持向量机和神经网络等浅层学习方法，深度学习不仅强调了学习模型的深度，而且突出了特征学习对于网络模型的重要性。经过不断的发展，科研人员已对人脸表情识别问题进行了较多的研究，并提出了各种不同的方法，但将深度学习技术应用于人脸表情识别的研究成果还不是很多，尚未取得良好的识别效果。

发明内容

鉴于上述原因，本发明的目的在于提供一种基于深度学习的人脸表情识别方法及装置，建立了一种卷积神经网络模型，能够识别多种人脸表情，识别效率高。

为实现上述目的，本发明采用以下技术方案：

一种基于深度学习的人脸表情识别装置，包括人脸识别模块、预处理模块、人脸表情识别模块，

人脸识别模块，用于从输入图像中识别出人脸区域图像；

预处理模块，用于对人脸区域图像进行预处理，将人脸区域图像调整为正面人脸姿态的人脸区域图像；

人脸表情识别模块，用于将预处理后的人脸区域图像输入卷积神经网络模型，输出人脸表情识别结果。

将所述预处理后的人脸区域图像裁剪为大小为227*227的特征图，输入所述卷积神经网络模型；

所述卷积神经网络模型包括依序连接的2个卷积层、1个池化层、2个卷积层、1个池化层和2个全连接层；

1)卷积层I，卷积核大小为11*11，步长为4，卷积核个数为96，无填充；

2)卷积层II，卷积核大小为3*3，步长为2，卷积核个数为128，填充为2；

3)池化层I，卷积核大小为3*3，步长为2，无填充；

4)卷积层III，卷积核大小为3*3，步长为1，卷积核个数为256，无填充；

5)卷积层IV，卷积核大小为2*2，步长为2，卷积核个数为256，无填充；

6)池化层II，卷积核大小为2*2，步长为2，无填充；

7)全连接层I，将池化层II输出的特征图转换为一维特征向量；

8)全连接层II，对全连接层I中的神经元进行全链接，得到7个预测值，输入到Softmax分类器。

所述人脸识别模块利用harr特征检测算法、adaboost分类算法识别出所述人脸区域图像。

所述预处理模块将具有一定程度的姿态变化的人脸区域图像利用仿射变换方法矫正为相似的正面人脸姿态的人脸区域图像。

一种基于深度学习的人脸表情识别方法，包括：

识别人脸区域图像；

将人脸区域图像调整为正面人脸姿态的人脸区域图像；

将调整后的人脸区域图像输入卷积神经网络模型，输出人脸表情识别结果。

所述卷积神经网络模型包括依序连接的2个卷积层、1个池化层、2个卷积层、1个池化层和2个全连接层；

1)卷积层I，卷积核大小为11*11，步长为4，卷积核个数为96，无填充；

2)卷积层II，卷积核大小为3*3，步长为2，卷积核个数为128，填充为2：

3)池化层I，卷积核大小为3*3，步长为2，无填充；

4)卷积层III，卷积核大小为3*3，步长为1，卷积核个数为256，无填充；

5)卷积层IV，卷积核大小为2*2，步长为2，卷积核个数为256，无填充；

6)池化层II，卷积核大小为2*2，步长为2，无填充；

7)全连接层I，将池化层II输出的特征图转换为一维特征向量；

8)全连接层II，对全连接层I中的神经元进行全链接，得到7个预测值，输入到Softmax分类器。

利用harr特征检测算法、adaboost分类算法识别所述人脸区域图像。

将具有一定程度的姿态变化的人脸区域图像利用仿射变换方法调整为相似的正面人脸姿态的人脸区域图像。

本发明的优点是：