[发明专利]一种基于上下文交互关系的情绪识别方法

说明书

本发明公开了一种基于上下文交互关系的情绪识别方法，该方法步骤包括：将表情数据集通过人脸检测和人体识别得到人脸和身体的边界框；利用人脸和身体的边界框对图片进行预处理，同时将边界框生成空间掩码，得到人脸、身体和场景三类图片；将预处理图像分别输入至预训练的三个支路网络提取特征，其中上下文交互模块插入到网络的第二层和第四层，在交互模块中其余支路的特征加权融合到各个支路上；分别联合人脸情绪特征、身体情绪特征和场景情绪特征进行表情分类，形成基于上下文交互关系的情绪识别模型。本发明提升了上下文的特征表达能力和抑制上下文存在的噪声，解决了独立提取上下文特征时的情绪不确定性和噪声的问题，使情绪识别的准确率更高。

技术领域

本发明涉及图像处理与识别技术领域，具体涉及一种基于上下文交互关系的情绪识别方法。

背景技术

自动情绪识别技术是令机器拥有感知人类情绪状态的能力，在需要监控人类的环境下有许多应用，包括教育、医疗和娱乐。当前主流的情绪标签模型，包含类别标签和维度标签，类别标签主要指基本情绪：生气、幸福、惊讶、厌恶、伤心和害怕，维度标签主要是指唤醒维度和正负维度组成的情绪坐标空间。

人类表情是最能体现情绪的特征之一，Ekman认为人类表情具有共性，因此研究者们之分重视从人脸表情提取情绪信息。2020年，Chen提出用标签分布学习(LDL)的学习范式来缓解在面部表情识别数据集中广泛存在的标注不一致问题。该学习范式允许将具有不同强度的多个标签关联到单个表情，提出了一种名为“辅助标签空间图上的标签分布学习”(LDL-ALSG)的新颖方法，利用了相关的任务(例如动作单元识别和面部标志检测)的标签拓扑信息来制作标签分布。Wang为了解决由于不明确的面部表情，低质量的面部图像和注释者的主观性导致的不确定性，提出了一种简单而有效的SelfCure Network(SCN)，该网络可以有效地抑制不确定性并防止深度网络过度拟合不确定的面部图像。具体而言，SCN从两个不同方面抑制了不确定性：1)在小批量生产中采用自我注意机制，以排名正则化对每个训练样本进行加权；2)谨慎的重新标记机制，修改这些低排位样本的标签。

2019年，Shen认为肢体手势是“肢体语言”的重要组成部分，介绍了一项探索性实验，目的是仅从手势中使用深度学习来识别情绪；Sapi′nski认为身体运动在自动情绪分析中被低估了，提出了一种利用身体运动来识别七个基本情绪状态(即快乐，悲伤，惊奇，恐惧，愤怒，厌恶和中立)的新颖方法，所提出的算法基于从跟踪的骨骼中关节的空间位置和方向推断出的低级特征，创建了情感运动的顺序模型。2020年，Luo认为人类天生就准备具备从微妙的肢体动作中理解他人情感表达的能力，并提出了一种可扩展且可靠的众包方法，用于收集在野生环境中感知到的情感数据，以供计算机学习识别人类的肢体语言。为此，创建了一个庞大且不断增长的带注释的数据集，其中包含9,876个人体动作视频剪辑和13,239个人类角色，名为BoLD(肢体语言数据集)。

对于真实场景下的图片，头部和头部可能受到遮挡模糊等外部干扰和表意不清等内部噪声，都不足以清晰地表达情绪时，研究者们关注到从场景中提取情绪信息，提升情绪识别准确率。2019年，Lee提出用于情境感知的情感识别的深层网络CAERNet，该网络不仅利用人的面部表情，而且还以联合和增强的方式利用了情境信息，其关键思想是将人脸隐藏在视觉场景中，并基于注意力机制寻求其他上下文。该网络由两个子网组成，其中包括分别提取面部和上下文区域特征的编码网络，以及以自适应方式融合这些特征的自适应融合网络。2020年，Mittal提出了EmotiCon，用于从视频和图像中识别上下文感知的人类情感。受心理学的弗雷格的情境原理启发，结合了三种情境解释来进行情感识别，分别是：脸部和步态多模态，使用自注意力机制编码的语义上下文，代表社会互动的深度图，在EMOTIC数据集的平均精确度(AP)得分为35.48。

当前情绪识别的工作结合上下文信息提取情绪线索，但主要从头部、身体和场景单独提取情绪线索，忽略了上下文情绪的交互关系，导致身体或者场景的情绪不确定性增强，降低模型的预测能力。

发明内容