[发明专利]基于自注意力机制的多模态情感识别方法

权利要求书

1.一种基于自注意力机制的多模态情感识别方法，其特征在于，包括如下步骤：

S1、获取不同模态的数据，数据中每条样本均包括多维情感特征；

S2、对各个模态，将每条样本中的多维情感特征分组，得到各组相应的特征向量；针对各组内情感特征的相关性建模并抽取高维特征；

S3、对各个模态，根据自注意力机制，将抽取到的高维特征通过一层线性层映射成query、key和value特征；对每一个高维特征，计算其对异构模态所有高维特征的注意力权重；根据注意力权重计算模态间融合的情感信息；基于需要融合的情感信息对每个高维特征进行更新；

S4、对各个模态，根据自注意力机制，将更新后的高维特征通过一层线性层映射成query、key和value特征，并引入跨模态的情感信息更新每个高维特征的query特征和key特征；对每一个高维特征，计算其对于所属模态所有高维特征的注意力权重；根据注意力权重计算模态内融合的情感信息；基于需要融合的情感信息对每个高维特征进行再次更新；

S5、对每一类情感，分别构建N个情感强度检测器，每个所述情感强度检测器由拥有独立参数的卷积神经网络构成；将再次更新后的高维特征输入对应的所述情感强度检测器，每个所述情感强度检测器输出其对于当前情感类别的激活强度值，进而得到情感相关矩阵；根据情感相关矩阵提供的权重集结每个模态下的各个高维特征，形成单模态情感特征；

S6、对每一类情感，采用双线性网络融合各模态的单模态情感特征，并输入二分类全连接网络，输出属于该情感类别的概率；对各类情感概率进行归一化，输出概率最大的情感类别。

2.根据权利要求1所述的多模态情感识别方法，其特征在于：

所述步骤S1中获取的数据包括脑电信号数据和眼动信号数据两个不同模态的数据。

3.根据权利要求2所述的多模态情感识别方法，其特征在于：

所述步骤S2中，将每条样本中的多维情感特征分组时，对脑电信号数据，根据多维情感特征的区域性进行分组，分为16组，对于眼动信号数据，根据多维情感特征的类型进行分组，分为5组；得到各组相应的特征向量表达式如下：

其中，脑电信号数据对应的多维情感特征62为脑电帽电极数，每个特征v_j包含脑电信号在5个波段上提取的微分熵，眼动信号数据对应的多维情感特征31为眼动信号数据对应的特征总数，特征q₁-q₁₂为瞳孔直径特征，q₁₃-q₁₆为眼球扫视特征，q₁₇-q₁₈为眼球注视特征，q₁₉-q₂₂为注视偏差特征，q₂₃-q₃₁为统计事件特征，为第j组脑电特征向量，n_j(j＝1,2,…,16)为第j组脑电区域的电极数目，为第j组眼动特征向量，m_j(j＝1,2,…,5)为第j组眼动特征的特征数目。

4.根据权利要求3所述的多模态情感识别方法，其特征在于：

所述步骤S2中，针对各组内情感特征的相关性建模并抽取高维特征时，对脑电信号数据，采用双向长短时记忆网络进行建模，记L(·；θ)为双向长短时记忆网络前向操作，其输出隐层为：

其中，θ为网络可学习参数，d_r表示隐层的维数，h_i(i＝1,2,…,n_j)表示隐层的特征向量；

将第j组脑电区域特征向量输入，抽取出双向长短时记忆网络的最后一层隐层的向量作为脑电高维特征输入各组脑电区域特征向量，得到高维特征向量记为H_i^eeg：

对眼动信号数据，采用具有一层隐层的全连接网络进行建模，令σ_j(·；θ)为带非线性激活函数的线性映射层，抽取出高维特征向量记为H_i^eye：

其中，为第j组眼动高维特征，θ为网络参数，d为线性层的输出维数。