[发明专利]基于自注意力机制的多模态情感识别方法

说明书

本发明涉及一种基于自注意力机制的多模态情感识别方法以及计算机可读存储介质，包括：获取不同模态的数据；将每条样本中的多维情感特征分组，抽取高维特征；根据自注意力机制计算模态间融合的情感信息；根据自注意力机制计算模态内融合的情感信息；构建情感相关矩阵，集结每个模态下的高维特征，形成单模态情感特征；对每一类情感，融合各模态的单模态情感特征，输出属于该情感类别的概率；对各类情感概率进行归一化，输出概率最大的情感类别，实现情感识别。本发明有效增强了模态特征之间的情感信息互补性，并增加情感高相关性特征的影响力，从而增强多模态情感识别能力。

技术领域

本发明涉及情感识别技术领域，尤其涉及一种基于自注意力机制的多模态情感识别方法以及计算机可读存储介质。

背景技术

情感是人大脑的高级活动，是人类的一种复杂的心理和生理状态。外界或者自身的刺激会造成人的情感变化。1997年MIT多媒体实验室的Picard教授首次提出情感计算的概念，它旨在通过赋予计算机识别、理解、表达和适应人类情感的能力来建立和谐的人机环境，在脑机接口、智能医疗、智慧家居等领域具有广泛应用，对于人机交互应用智能化、情感化至关重要。人的情感变化同时也会带来自身的外部行为和生理反应的变化，情感计算就是根据人类外部和内部变化的信息来判断其情感状态，它内在的是一个多模态问题。因此，如何融合不同模态信息的特征，从而提升情感识别准确率具有重大研究意义。

随着深度学习理论的蓬勃发展，基于卷积神经网络、循环神经网络、前馈神经网络等经典网络及其变种的模型在单模态情感识别任务中大放异彩，为多模态情感识别提供了坚实的基础。而多模态情感识别的另一个重要挑战是如何有效结合多种模态的信息，利用异构模态之间情感信息的互补性，提供更加鲁棒的预测效果。

针对这个挑战，大多数现有技术采用了决策级融合和特征级融合的方式。其中，决策级融合技术对每个模态信息单独构建情感识别模型，并综合考虑不同的模态信息对情感识别的重要性，通常引入权重原理在输出层加权融合各模态的情感识别结果。此类方法由于各个模态的特征在真实预测中是相互孤立的，虽然用到了多个模态的预测结果，却没有真正意义上考虑不同模态特征之间的相关性，因此对于多模态信息的利用非常有限。而特征级融合方式联合各个模态提取的单模态特征，基于不同的特征学习方式，学习到联合的情感特征表示。然而，现有技术大多对各个模态提取到最后一层高维特征做联合学习，这种方式虽然能够一定程度上利用不同模态之间的信息互补，但是没有充分考虑单模态内和多模态间不同层次抽象特征之间情感相关性蕴含的情感信息。此外，很少有现有技术考虑了各个模态情感特征对不同情感的差异性，没有考虑每一个模态特征对特定情感的重要程度。

发明内容

本发明的目的是针对上述至少一部分缺陷，提供一种基于分层自注意力机制，分别对模态内的特征融合和模态间的特征融合进行建模的多模态情感识别方法。

为了实现上述目的，本发明提供了一种基于自注意力机制的多模态情感识别方法，该方法包括如下步骤：

S1、获取不同模态的数据，数据中每条样本均包括多维情感特征；

S2、对各个模态，将每条样本中的多维情感特征分组，得到各组相应的特征向量；针对各组内情感特征的相关性建模并抽取高维特征；

S3、对各个模态，根据自注意力机制，将抽取到的高维特征通过一层线性层映射成query、key和value特征；对每一个高维特征，计算其对异构模态所有高维特征的注意力权重；根据注意力权重计算模态间融合的情感信息；基于需要融合的情感信息对每个高维特征进行更新；

S4、对各个模态，根据自注意力机制，将更新后的高维特征通过一层线性层映射成query、key和value特征，并引入跨模态的情感信息更新每个高维特征的query特征和key特征；对每一个高维特征，计算其对于所属模态所有高维特征的注意力权重；根据注意力权重计算模态内融合的情感信息；基于需要融合的情感信息对每个高维特征进行再次更新；