[发明专利]多模态维度情感识别方法

说明书

本申请涉及多模态维度情感识别方法，包括：输入待测样本的音频、视频及对应的文本，得到帧级别的音频特征、帧级别的视频特征和帧级别的文本特征；利用时序卷积网络对帧级别的音频特征、帧级别的视频特征和帧级别的文本特征分别进行时序上下文建模，得到上下文音频特征、上下文视频特征和上下文文本特征；利用门控注意力机制对上下文音频特征、上下文视频特征和上下文文本特征进行加权融合，得到多模态特征；将多模态特征、上下文音频特征、上下文视频特征和上下文文本特征进行拼接，得到拼接特征，然后再次利用时序卷积网络对所述拼接特征进行时序上下文建模，得到上下文拼接特征；对上下文拼接特征进行回归预测，得到最终的维度情感预测结果。

技术领域

本申请涉及数据处理技术领域，尤其涉及多模态维度情感识别方法。

背景技术

目前的情感识别方法大多局限于单一、离散的情感类别，比如常见的心理学家提出的六类情感：生气、厌恶、恐惧、高兴、悲伤和惊讶。这种离散模型虽然简单直观，但只能表示有限种类的、单一明确的情感类型；而且，很多情感类别之间存在高度的相关性，但在离散化后很难对这种相关性进行度量和处理；此外，情感的产生、发展和消失是一个连续变化的过程，而离散模型却很难描述连续变化的情感。维度情感模型的提出较好地克服了离散情感模型的缺点，可以刻画细微的情感波动。维度情感识别依赖于多模态信息的有效融合以及时序上下文信息的高效建模。现有技术的缺点是，将提取出的各个模态的特征进行简单的拼接，而不同时刻不同模态特征的贡献度往往不同；同时，主流方法普遍使用的循环神经网络因为梯度消失问题在面对长时序列时建模效果不好，导致情感识别效果不佳。

申请公布号CN 110033029 A公开了一种基于多模态情感模型的情感识别方法和装置，建立基础维度预测模型，并由基础维度预测模型得到视频维度预测模型、音频维度预测模型和文本维度预测模型，分别分析表情姿态视频特征、音频特征、话语文本特征得到第一情感结果、第二情感结果和第三情感结果；将三个结果融合并结合基于基础维度预测模型的映射关系得到目标对象的情感类别；其从多模态和多角度进行情感识别，具有信息全面、抗干扰性强以及高准确度的优点。

申请公布号CN 110188343 A公开了一种基于融合注意力网络的多模态情感识别方法，提取文本、视觉和音频三个模态的高维特征并按字级对齐和归一化处理，然后输入至双向门控循环单元网络进行训练，提取三个单模态子网络中的双向门控循环单元网络输出的状态信息计算多模态间状态信息的相关度，再计算多个模态每一时刻的注意力分布，即每一时刻状态信息的权重参数，将三个模态子网络的状态信息和对应的权重参数加权平均得到融合特征向量作为全连接网络的输入，将待识别的文本、视觉和音频输入训练后各个模态的双向门控循环单元网络，得到最终的情感强度输出。本发明能克服多模态融合时各模态的权重一致性问题，提高多模态融合下的情感识别准确率。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种多模态维度情感识别方法，包括：

S1：输入待测样本的音频、视频及对应的文本，分别对所述音频、视频和文本进行特征提取，得到帧级别的音频特征、帧级别的视频特征和帧级别的文本特征；

S2：利用时序卷积网络对所述帧级别的音频特征、帧级别的视频特征和帧级别的文本特征分别进行时序上下文建模，得到上下文音频特征、上下文视频特征和上下文文本特征；

S3：利用门控注意力机制对上下文音频特征、上下文视频特征和上下文文本特征进行加权融合，得到多模态特征；

S4：将所述多模态特征、上下文音频特征、上下文视频特征和上下文文本特征进行拼接，得到拼接特征，然后再次利用时序卷积网络对所述拼接特征进行时序上下文建模，得到上下文拼接特征；

S5：对上下文拼接特征进行回归预测，得到最终的维度情感预测结果。

优选地，所述分别对所述音频文件、视频文件和文本文件进行特征提取的具体方法为：