[发明专利]人脸表情识别的方法及装置

权利要求书

1.一种人脸表情识别的方法，其特征在于，所述方法包括：

获取符合预设条件的人脸图像；所述符合预设条件的人脸图像包括有侧脸的人脸图像、图像分辨率小于第一预设值的人脸图像和/或人脸被遮挡的部分大于第二预设值且小于第三预设值的人脸图像；

采用多任务学习的深度卷积神经网络检测所述人脸图像中人脸68个特征点的位置；

根据检测到的所述68个特征点的位置，选取眼睛、鼻子和/或嘴角作为关键特征点，根据原人脸图像所述关键特征点的位置与校准后的人脸图像所述关键特征点的位置的映射关系，固定所述关键特征点在校准后的人脸图像中的位置，对所述人脸图像采用基于仿射变换的相似性变换，变换后将原人脸图像上的所述关键特征点按比例对应到校准后的人脸图像上；

获取人脸表情数据库；

将所述人脸表情数据库中的人脸表情图像作为训练数据集，并对所述训练数据集进行所述校准处理；

对校准处理后的所述训练数据集进行数据增强处理，使得所述训练数据扩大到原来的20倍；

通过数据增强处理后的所述训练数据集对深度卷积神经网络进行训练，获得训练后的所述深度卷积神经网络；

通过训练后的所述深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别，并输出识别结果。

2.如权利要求1所述的人脸表情识别的方法，其特征在于，所述对校准后的所述训练数据集进行数据增强处理包括：

对校准后的所述训练数据集中的人脸表情图像进行水平镜像、旋转和平移放大处理。

3.如权利要求2所述的人脸表情识别的方法，其特征在于，所述对校准后的所述训练数据集中的人脸表情图像进行水平镜像、旋转和平移放大处理包括：

将校准后的所述训练数据集中的人脸表情图像水平翻转，获得水平镜像图像；和/或，

将校准后的所述训练数据集中的人脸表情图像旋转得到M张旋转图像，其中M为大于零的整数；和/或，

将校准后的所述训练数据集中的人脸表情图像平移放大得到L张平移图像，其中L为大于零的整数。

4.如权利要求1至3任一项所述的人脸表情识别的方法，其特征在于，所述深度卷积神经网络为五层卷积神经网络，学习率初始化为0.001且第四层卷积层和第四层池化层两层的特征输入到第五层卷积层。

5.一种人脸表情识别的装置，其特征在于，所述装置包括：

人脸图像获取单元，用于获取符合预设条件的人脸图像；所述符合预设条件的人脸图像包括有侧脸的人脸图像、图像分辨率小于第一预设值的人脸图像和/或人脸被遮挡的部分大于第二预设值且小于第三预设值的人脸图像；

检测单元，用于采用多任务学习的深度卷积神经网络检测所述人脸图像中人脸68个特征点的位置；

校准单元，用于根据检测到的所述68个特征点的位置，选取眼睛、鼻子和/或嘴角作为关键特征点，根据原人脸图像所述关键特征点的位置与校准后的人脸图像所述关键特征点的位置的映射关系，固定所述关键特征点在校准后的人脸图像中的位置，对所述人脸图像采用基于仿射变换的相似性变换，变换后将原人脸图像上的所述关键特征点按比例对应到校准后的人脸图像上；

识别单元，用于通过已训练完成的深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别，并输出识别结果；

所述识别单元包括：

人脸表情获取模块，用于获取人脸表情数据库；

校准模块，用于将所述人脸表情数据库中的人脸表情图像作为训练数据集，并对所述训练数据集进行所述校准处理；

数据增强处理模块，用于对校准处理后的所述训练数据集进行数据增强处理，使得所述训练数据扩大到原来的20倍；

训练模块，用于通过数据增强处理后的所述训练数据集对深度卷积神经网络进行训练，获得训练后的所述深度卷积神经网络；

识别模块，用于通过训练后的所述深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别，并输出识别结果。

6.如权利要求5所述的人脸表情识别的装置，其特征在于，所述数据增强处理模块具体用于：

对校准后的所述训练数据集中的人脸表情图像进行水平镜像、旋转和平移放大处理。

7.如权利要求6所述的人脸表情识别的装置，其特征在于，所述数据增强处理模块具体用于：

将校准后的所述训练数据集中的人脸表情图像水平翻转，获得水平镜像图像；和/或，

将校准后的所述训练数据集中的人脸表情图像旋转得到M张旋转图像，其中M为大于零的整数；和/或，

将校准后的所述训练数据集中的人脸表情图像平移放大得到L张平移图像，其中L为大于零的整数。