[发明专利]一种基于混合域一致性约束的面部表情识别方法及系统

权利要求书

1.一种基于混合域一致性约束的面部表情识别方法，其特征在于，包括：

S101将待识别的人脸图像输入至面部表情识别模型，获得所述人脸图像的表情识别结果；

其中，所述面部表情识别模型是以空间域一致性约束和/或通道域一致性约束为约束，基于样本人脸图像及其对应的面部表情标签训练获得的；所述空间域一致性约束为样本人脸图像的热力图与翻转人脸图像的热力图之间的一致性约束；通道域一致性约束为样本人脸图像与翻转人脸图像在不同通道上的概率分布的一致性约束；所述翻转人脸图像为水平翻转后的样本人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述空间域一致性约束基于如下步骤确定：

将样本人脸图像的多通道特征图经过第一全局平均池化层和第一全连接层，获得样本人脸图像在不同通道上的权重，并与样本人脸图像的多通道特征图进行逐通道相乘，获得样本人脸图像的热力图；

将翻转人脸图像的多通道特征图经过第二全局平均池化层和第二全连接层，获得翻转人脸图像在不同通道上的权重，并与翻转人脸图像的多通道特征图进行逐通道相乘，获得翻转人脸图像的热力图；

基于样本人脸图像的热力图与翻转人脸图像的热力图之间的均方差，确定所述空间域一致性约束。

3.根据权利要求1所述的方法，其特征在于，所述通道域一致性约束基于如下步骤确定：

将样本人脸图像的多通道特征图经过第三全局平均池化层和第一softmax层，获得样本人脸图像在不同通道上的概率分布；

将翻转人脸图像的多通道特征图经过第四全局平均池化层和第二softmax层，获得翻转人脸图像在不同通道上的概率分布；

基于样本人脸图像与翻转人脸图像在不同通道上的概率分布之间的JS散度，确定所述通道域一致性约束。

4.一种基于混合域一致性约束的面部表情识别系统，其特征在于，包括：

模型训练模块，用于以空间域一致性约束和/或通道域一致性约束为约束，基于样本人脸图像及其对应的面部表情标签训练获得面部表情识别模型；所述空间域一致性约束为样本人脸图像的热力图与翻转人脸图像的热力图之间的一致性约束；通道域一致性约束为样本人脸图像与翻转人脸图像在不同通道上的概率分布的一致性约束；所述翻转人脸图像为水平翻转后的样本人脸图像；

表情识别模块，用于将待识别的人脸图像输入至所述面部表情识别模型，获得所述人脸图像的表情识别结果。

5.根据权利要求4所述的系统，其特征在于，所述模型训练模块中所采用的空间域一致性约束基于如下步骤确定：

将样本人脸图像的多通道特征图经过第一全局平均池化层和第一全连接层，获得样本人脸图像在不同通道上的权重，并与样本人脸图像的多通道特征图进行逐通道相乘，获得样本人脸图像的热力图；

将翻转人脸图像的多通道特征图经过第二全局平均池化层和第二全连接层，获得翻转人脸图像在不同通道上的权重，并与翻转人脸图像的多通道特征图进行逐通道相乘，获得翻转人脸图像的热力图；

基于样本人脸图像的热力图与翻转人脸图像的热力图之间的均方差，确定所述空间域一致性约束。

6.根据权利要求4所述的系统，其特征在于，所述模型训练模块中所采用的通道域一致性约束基于如下步骤确定：

将样本人脸图像的多通道特征图经过第三全局平均池化层和第一softmax层，获得样本人脸图像在不同通道上的概率分布；

将翻转人脸图像的多通道特征图经过第四全局平均池化层和第二softmax层，获得翻转人脸图像在不同通道上的概率分布；

基于样本人脸图像与翻转人脸图像在不同通道上的概率分布之间的JS散度，确定所述通道域一致性约束。

7.一种电子设备，其特征在于，包括：

至少一个存储器，用于存储程序；

至少一个处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行如权利要求1-3任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序在处理器上运行时，使得所述处理器执行如权利要求1-3任一项所述的方法。