[发明专利]一种表情识别方法、装置以及电子设备

说明书

本申请公开了表情识别方法、装置及电子设备，属于数据处理技术领域，所述方法包括：获取目标数据集；获取AU辅助数据集，所述AU辅助数据集根据AU与表情关系选出的与各基本表情相关性最强的AU；基于AU感知的表情识别构建神经网络模型；通过目标数据集和AU辅助数据集，对神经网络模型进行训练，得到目标模型；将待检测表情图像输入所述目标模型中，得到表情识别结果。通过本申请公开的表情识别方案，在不增加标注成本的前提下，可提升所训练的目标模型的识别准确度。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种表情识别方法、装置以及电子设备。

背景技术

表情识别方法大致可分为两类，一种是非深度学习方法，另一种是基于深度学习方法。非深度学习方法，首先是通过人为的观察对表情的物理特征以及数学特征建立模型，经由模型提取出的特征信息再经过一定规则或者分类器对特征信息进行分类识别，从而识别表情的功能。非深度学习的表情识别方法受头部姿势、遮挡、背景的影响较大，不具备鲁棒性，在复杂的环境中对于表情识别的准确度低。

基于深度学习的表情识别方法大致可分为两类，一类为直接基于表情标签训练的方法，另一类为借助AU(Action Unit，脸部运动单元)标签训练的方法。基于表情标签训练的方法，通过建立神经网络模型，对带有表情标签的人脸数据集进行训练，从而令模型具备表情识别的能力。但人的表情十分复杂，普通的神经网络模型对面部的微小变化不敏感，识别结果准确度低。借助AU标签训练的方法，对表情数据集进行AU标注，然后再进行训练，但这种方法标注量非常大，标注成本高。

发明内容

本申请实施例的目的是提供一种表情识别方法、装置和电子设备，能够解决现有技术中存在的表情识别准确度低、表情数据集AU标注成本高的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种表情识别方法，包括：

获取目标数据集，其中，所述目标数据集为带有表情标签的人脸数据集；

获取AU辅助数据集，所述AU辅助数据集根据AU与表情关系选出的与各基本表情相关性最强的AU；

基于AU感知的表情识别构建神经网络模型；

通过目标数据集和AU辅助数据集，对神经网络模型进行训练，得到目标模型；

将待检测表情图像输入所述目标模型中，得到表情识别结果。

可选地，所述获取目标数据集的步骤，包括：

从RAF-DB和/FERPlus公开的人脸表情数据集中筛选至少部分数据，作为目标数据集，其中，筛选出的目标数据集中包括多种基础表情图像。

可选地，所述获取AU辅助数据集的步骤，包括：

获取RAFAU或EmotioNet的AU数据集，并对所述AU数据集中的各条数据进行人工AU标注，其中，AU标注的标签仅包括：指示开心、伤心、惊喜、害怕、生气、恶心、自然平静这七种基础表情的标签。

可选地，所述目标模型的总损失函数如下：

其中，，Z_FER为目标模型最终输出的分数对，Z_AU为AU-CRL模块的分数对，所述Z_FER输入Softmax函数ψ，所述Z_AU输入Sigmoid函数，α和β为常数系数用于平衡FER的交叉熵损失和AU检测的二元交叉熵损失所述Y_EFR、Y_AU分别为来自FER数据集和AU检测数据集的标签。

可选地，所述将待检测表情图像输入所述目标模型中，得到表情识别结果的步骤，包括：