[发明专利]对比学习结合掩码图像建模的自监督人脸表情识别方法

说明书

本发明公开了一种对比学习结合掩码图像建模的自监督人脸表情识别方法，该方法为：构建对比学习结合掩码图像建模的自监督人脸表情识别模型；在模型上进行无监督的预训练；对预训练后的模型在带标签的验证集上进行线性探测评估和微调评估；采用微调评估后的模型，对输入的人脸图像进行表情识别；该方法通过一个无卷积的孪生网络学习人脸表情表征，利用对比损失和掩码图像建模损失对孪生网络进行预训练，从而同时理解高级视觉语义和图像内部结构，最大化学生网络和教师网络输出之间的一致性。本发明可以学习丰富的视觉信息，对于各种与面部表情无关的干扰具有鲁棒性，同时在人脸表情数据集的线性探测和微调评估上均取得了出色的效果。

技术领域

本发明属于图像分类技术领域，特别涉及一种对比学习结合掩码图像建模的自监督人脸表情识别方法。

背景技术

面部表情提供了丰富的情感信息，是人类表达情感和意图最强大、最普遍和最自然的方式之一，在人际交往中是不可忽视的重要信息载体。近年来，随着人工智能的不断发展，人脸表情识别(Facial Expression Recognition，FER)在智能设备、医疗服务、个人情绪管理、疲劳驾驶监测及其他人机交互系统等诸多领域广泛应用，是情感计算和计算机视觉(Computer Vision，CV)领域的研究热点之一。著名美国心理学家保罗·埃克曼(PaulEkman)提出了如今被视为普遍标准的人类6类基础表情：愤怒、厌恶、恐惧、高兴、悲伤和惊讶，后来又增加了蔑视(contempt)这一新的基础表情。

在深度学习兴起之前，传统的FER方法主要基于手工特征和浅层学习(例如，定向梯度直方图(HOGs)、局部二进制模式(LBP)和稀疏表示)。近年来，随着数据驱动技术的发展，基于深度学习的方法逐渐取代传统方法，实现了最先进的FER性能。深度学习虽然具备强大的表征能力，但应用于人脸表情识别任务上还存在以下几个问题：

1)依赖大规模的标注数据。目前基于深度学习的人脸表情识别方法的成功依靠有监督的训练方式，对数据量要求巨大。标注数据越多，标注质量越好，模型效果越显著，而缺乏足量训练数据会导致过拟合问题。然而，当前人脸表情数据的人工标注存在标注质量不一和成本高昂的问题。一方面，不同标注者对表情的理解和认知差异会导致标注结果具有主观性、低准确性，对网络训练过程有很大的干扰。另一方面，人工对人脸表情数据进行标注需要多个繁琐的步骤，效率较低且所需成本较高，获取高质量的有标注人脸表情数据具有较大的难度。

2)自然场景下与表情识别无关因素的干扰。人脸表情识别在自然场景下的表现会受到很多外部因素的影响，如光照条件不同、背景复杂、头部姿态不同、部分遮挡、面部扭曲、模糊等，因此是一项非常困难的任务。

监督学习(Supervised Learning,SL)方法极度依赖于大量的有标注数据，缺乏标注数据促使研究者们寻找替代方法，即如何利用大量的无标注数据，因此自监督学习(Self-Supervised Learning,SSL)得到了广泛关注。自监督学习属于无监督学习的一种，可以直接利用数据本身作为监督信息(伪标签)，而不需要人工标注的信息。自监督学习首先通过前置任务在预训练阶段学习图像的特征表示，此阶段无需标注数据。之后将学习到的参数作为预训练模型迁移到下游任务(downstream task)，使用部分标注数据进行微调，就可以达到很好的效果。自监督学习相比于监督学习具有以下优势：1)不需要大量的标注数据；2)更多地关注数据的内在信息，数据所能提供的信息比稀疏的标签更加丰富；3)能够学习到更多通用的知识，自监督学习得到的表示往往能够更好地迁移到下游任务中。