[发明专利]一种表情识别方法、装置以及电子设备

权利要求书

1.一种表情识别方法，其特征在于，所述方法包括：

获取目标数据集，其中，所述目标数据集为带有表情标签的人脸数据集；

获取AU辅助数据集，所述AU辅助数据集根据AU与表情关系选出的与各基本表情相关性最强的AU；

基于AU感知的表情识别构建神经网络模型；

通过目标数据集和AU辅助数据集，对神经网络模型进行训练，得到目标模型；

将待检测表情图像输入所述目标模型中，得到表情识别结果。

2.根据权利要求1所述的方法，其特征在于，所述获取目标数据集的步骤，包括：

从RAF-DB和/FERPlus公开的人脸表情数据集中筛选至少部分数据，作为目标数据集，其中，筛选出的目标数据集中包括多种基础表情图像。

3.根据权利要求1所述的方法，其特征在于，所述获取AU辅助数据集的步骤，包括：

获取RAFAU或EmotioNet的AU数据集，并对所述AU数据集中的各条数据进行人工AU标注，其中，AU标注的标签仅包括：指示开心、伤心、惊喜、害怕、生气、恶心、自然平静这七种基础表情的标签。

4.根据权利要求1所述的方法，其特征在于，所述目标模型的总损失函数如下：

其中，，Z_FER为目标模型最终输出的分数对，Z_AU为AU-CRL模块的分数对，所述Z_FER输入Softmax函数ψ，所述Z_AU输入Sigmoid函数，α和β为常数系数用于平衡FER的交叉熵损失和AU检测的二元交叉熵损失所述Y_FEB、Y_AU分别为来自FER数据集和AU检测数据集的标签。

5.根据权利要求1所述的方法，其特征在于，所述将待检测表情图像输入所述目标模型中，得到表情识别结果的步骤，包括：

将所述待检测表情图像输入所述目标模型中，基于所述目标模型中的卷积神经网络特征提取模块和表情分支结构的输出结果，确定表情识结果。

6.一种表情识别装置，其特征在于，包括：

第一获取模块，用于获取目标数据集，其中，所述目标数据集为带有表情标签的人脸数据集；

第二获取模块，用于获取AU辅助数据集，所述AU辅助数据集根据AU与表情关系选出的与各基本表情相关性最强的AU；

构建模块，用于基于AU感知的表情识别构建神经网络模型；

训练模块，用于通过目标数据集和AU辅助数据集，对神经网络模型进行训练，得到目标模型；

识别模块，用于将待检测表情图像输入所述目标模型中，得到表情识别结果。

7.根据权利要求6所述的装置，其特征在于，所述第一获取模块具体用于：

从RAF-DB和/FERPlus公开的人脸表情数据集中筛选至少部分数据，作为目标数据集，其中，筛选出的目标数据集中包括多种基础表情图像。

8.根据权利要求6所述的装置，其特征在于，所述第二获取模块具体用于：

获取RAFAU或EmotioNet的AU数据集，并对所述AU数据集中的各条数据进行人工AU标注，其中，AU标注的标签仅包括：指示开心、伤心、惊喜、害怕、生气、恶心、自然平静这七种基础表情的标签。

9.根据权利要求6所述的装置，其特征在于，所述识别模块具体用于：

将所述待检测表情图像输入所述目标模型中，基于所述目标模型中的卷积神经网络特征提取模块和表情分支结构的输出结果，确定表情识结果。

10.一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的表情识别方法的步骤。