[发明专利]一种面部表情识别的方法、装置和电子设备

权利要求书

1.一种面部表情识别的方法，其特征在于，包括：

S1：根据多个面部肌肉关键点将已完成人脸矫正的人脸区域划分为多个感兴趣区域ROI，多个ROI对应多个ROI组，每个所述ROI组对应一个AU关键点区域；将各个所述AU关键点区域各自对应的多个ROI最小外接矩形进行并集以获得其最小外接矩形区域Iu；将各个所述AU关键点区域各自对应的多个ROI最小外接矩形进行交集以获得其最小外接矩形区域In；

S2：对人脸图像进行特征提取得到特征图f，从所述特征图f中确定出Iu对应的特征图fu和In对应的特征图fn；将所述特征图fu进行下采样得到特征图fu'，将所述特征图fn进行上采样得到特征图fn'，将所述特征图fu'和所述特征图fn'进行信道拼接得到特征图fc；

S3：将所述特征图fc输入对应的训练好的面部AU识别模型中，使其输出对应的多个AU关键点区域及其置信度；将最高置信度对应的AU关键点区域作为得到最佳AU关键点区域；

S4：基于预设表情映射关系和各个AU关键点区域对应的最佳AU关键点区域，获取所述人脸图像对应的面部表情信息；

在S3之前，所述方法还包括：

获得多个人脸图像，将各个所述人脸图像上的各个ROI对应的Iu和In作为各个ROI各自对应的AU关键点区域的初始区域；基于所述初始区域将多个人脸图像各自对应的特征图fc’作为AU关键点区域样本集对面部AU识别模型进行训练；所述AU关键点区域样本集的属性信息包括：AU关键点区域的真实框和AU分类标签。

2.如权利要求1所述的面部表情识别的方法，其特征在于，训练所述面部AU识别模型过程中，对特征图fc’对应的各个所述AU关键点区域对应的Iu和In进行回归迭代直至Iu＝In，从而获取所述AU关键点区域到最接近于真实AU关键点区域的映射关系。

3.如权利要求2所述的面部表情识别的方法，其特征在于，训练过程中的AU分类损失函数为：

其中，y_i为AU关键点区域的真实标签，为AU关键点区域的预测标签，i为样本序号，N为样本总数。

4.如权利要求2所述的面部表情识别的方法，其特征在于，

训练过程中Iu的DIoU损失函数L_{DIoU_u}为：L_{DIoU_u}＝1-DIoU_u；

其中，IoU_u为Iu与AU的真实标签框Ig的交并比，ρu表示Iu中心点与AU的真实标签框Ig中心点的欧氏距离，b_u为AU的Iu框的中心点；b^gt为AU的真实标签框的中心点；为能够同时包含Iu框和真实标签框的最小闭包区域的对角线距离；

训练过程中的DIoU损失函数L_{DIoU_n}为：L_{DIoU_n}＝1-DIoU_n；

IoU_n为In与AU的真实标签框Ig的交并比，ρn表示In中心点与AU的真实标签框的中心点的欧氏距离；b_n为AU的In框的中心点；为能够同时包含In框和真实标签框的最小闭包区域的对角线距离。

5.如权利要求1-4任一项所述的面部表情识别的方法，其特征在于，所述面部AU识别模型训练过程的损失函数为：

L＝σ_cLoss_c+σ_u(L_{DIoU_u})+σ_n(L_{DIoU_n})；

其中，Loss_c为AU分类损失函数，σ_c为AU分类损失的权重，σ_u为Iu的DIoU损失的权重，L_{DIoU_u}为Iu的DIoU损失函数，σ_n为In的DIoU损失的权重，L_{DIoU_n}为In的DIoU损失函数。