[发明专利]基于融合注意力网络的多模态情感识别方法

摘要

一种基于融合注意力网络的多模态情感识别方法，提取文本、视觉和音频三个模态的高维特征并按字级对齐和归一化处理，然后输入至双向门控循环单元网络进行训练，提取三个单模态子网络中的双向门控循环单元网络输出的状态信息计算多模态间状态信息的相关度，再计算多个模态每一时刻的注意力分布，即每一时刻状态信息的权重参数，将三个模态子网络的状态信息和对应的权重参数加权平均得到融合特征向量作为全连接网络的输入，将待识别的文本、视觉和音频输入训练后各个模态的双向门控循环单元网络，得到最终的情感强度输出。本发明能克服多模态融合时各模态的权重一致性问题，提高多模态融合下的情感识别准确率。

主权项

1.一种基于融合注意力网络的多模态情感识别方法，其特征在于：所述方法包括以下步骤：步骤1，提取文本、视觉和音频三个模态的高维特征；步骤2，将视觉和音频模态的高维特征与文本模态的高维特征按字级对齐，并对文本、视觉和音频三个模态的高维特征进行归一化处理；步骤3，将字级对齐和归一化处理后的文本、视觉和音频三个模态的高维特征分别输入至双向门控循环单元网络进行训练；步骤4，提取三个单模态子网络中的双向门控循环单元网络输出的状态信息和其中，是文本模态子网络中双向门控循环单元网络在i时刻输出的状态信息，包含了i时刻的前向状态输出和后向状态输出是视觉模态子网络中双向门控循环单元网络在i时刻输出的状态信息，包含了i时刻的前向状态输出和后向状态输出是音频模态子网络中双向门控循环单元网络在i时刻输出的状态信息，包含了i时刻的前向状态输出和后向状态输出步骤5，计算多模态间状态信息的相关度s_i，如式(1)所示：其中是文本模态子网络中双向门控循环单元网络在i时刻输出的状态信息，W_t是与相关的权重参数，是视觉模态子网络中双向门控循环单元网络在i时刻输出的状态信息，W_v是与相关的权重参数，是音频模态子网络中双向门控循环单元网络在i时刻输出的状态信息，W_a是与相关的权重参数，b₁是与和相关的偏差，tanh是激活函数，V是多模态融合的权重参数，b₂是多模态融合的偏差；步骤6，根据多模态间状态信息的相关度s_i，计算出多个模态每一时刻的注意力分布，即在i时刻的状态信息的权重参数α_i，权重参数α_i计算如式(2)所示：其中softmax是归一化指数函数，exp是指数函数，T_l为意见发言视频中的单词数；步骤7，三个模态双向门控循环单元网络输出的状态信息和对应的权重参数α_i进行加权平均计算得到融合特征向量H^*作为下一层全连接网络的输入特征，融合特征向量H^*计算如式(3)所示：其中，T_l为意见发言视频中的单词数，是文本模态子网络中双向门控循环单元网络在i时刻输出的状态信息，是视觉模态子网络中双向门控循环单元网络在i时刻输出的状态信息，是音频模态子网络中双向门控循环单元网络在i时刻输出的状态信息；步骤8，将待识别的文本、视觉和音频输入训练后的各个模态的双向门控循环单元网络，得到最终的情感强度输出。