[发明专利]一种基于双分支干扰分离网络的人脸表情识别方法

说明书

一种基于双分支干扰分离网络的人脸表情识别方法，涉及计算机视觉技术。提供可以处理表情图像中多种干扰因素的一种基于双分支干扰分离网络的人脸表情识别方法。首先设计一个双分支网络来分开学习表情特征和干扰特征，再根据干扰特征的不同类型在干扰分支中设计标签感知子分支和无标签子分支。在标签感知子分支中，利用辅助数据集的标签信息和迁移学习的方式学习常见干扰特征。在无标签子分支中，引入印度自助餐过程理论学习潜在干扰特征。最后，通过对抗学习，进一步分离干扰特征和表情特征，从而获得更有判别力的表情特征进行分类预测，有效地提升表情识别的性能。

技术领域

本发明涉及计算机视觉技术，尤其是涉及一种基于双分支干扰分离网络的人脸表情识别方法。

背景技术

近年来，基于深度学习的人脸表情识别算法取得重大进展。但是，人脸表情图像中存在许多种干扰因素，例如身份、头部姿态、光照等。这些干扰因素严重影响表情特征的提取，降低表情识别算法的性能。因此，分离干扰因素对提升表情识别的性能非常重要。

表情图像中存在一些常见的干扰因素，例如身份和头部姿态变换。因为部分数据集包含这些因素的标注，所以大多数算法利用现有的标签信息来显式地学习常见干扰特征。比如Can Wang等人(Can Wang,Shangfei Wang,and Guang Liang.2019.Identity-andpose-robust facial expression recognition through adversarial featurelearning.In Proceedings of the ACM International Conference onMultimedia.238–246.)利用身份和姿态的标签信息来抑制身份变换和姿态变换的影响；Jiawei Chen等人(Jiawei Chen,Janusz Konrad,and Prakash Ishwar.2018.Vgan-basedimage representation learning for privacy-preserving facial expressionrecognition.In Proceedings of the IEEE Conference on Computer Vision andPattern Recognition Workshops.1570–1579.)利用生成对抗网络来合成不同身份和姿态的图像，进而帮助模型学习身份不变特征和姿态不变特征；Delian Ruan等人(DelianRuan,Yan Yan,Si Chen,Jing-Hao Xue,and Hanzi Wang.2020.Deep disturbance-disentangled learning for facial expression recognition.In Proceedings of theACM International Conference on Multimedia.2833–2841)采用对抗迁移学习的方式，同时学习多种干扰因素。但是这些方法需要借助干扰因素的标签，导致学到的常见干扰因素类型是有限的，因此忽略一些潜在的干扰因素，例如发型、遮挡和配饰等。近年来，有些方法不使用干扰因素的标签信息，隐式地分离干扰因素。比如Marah Halawa等人(MarahHalawa,ManuelEduardo Vellasques,Urko SánchezSanz,and OlafHellwich.2020.Learning disentangled expression representations from facialimages.arXiv preprint arXiv:2008.07001(2020).)使用对抗学习来区分干扰特征和表情特征；Huiyuan Yang等人(Huiyuan Yang,Umur Ciftci,and Lijun Yin.2018.Facialexpression recognition by de-expression residue learning.In Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition.2168–2177)通过学习中性脸图像和表情图像之间的差异信息作为表情相关信息，排除表情无关的干扰特征。但是这些方法没有对常见干扰因素和潜在干扰因素加以区分，而是用相同的方式来学习。对于常见干扰因素而言，由于缺少先验信息，导致它们的学习效果不够理想。