[发明专利]基于文本指导的层级自适应融合的多模态情感分析方法

说明书

本发明涉及基于文本指导的层级自适应融合的多模态情感分析方法，属于自然语言处理领域。发明包括：首先分别提取文本、语音、视觉三种模态特征，然后采用跨模态注意力机制以文本模态信息为指导实现两两模态之间的表征，获取文本密切相关的语音特征和视觉特征；然后采用多模态自适应门控机制使用模态相关特征对三种单模态特征进行有效筛选，获取三种模态特有特征；接着采用多模态层级融合策略综合多模态特征和模态重要信息；最后输出使用线性变换去预测情感极性。本发明采用公共数据集CMU‑MOSI数据集来训练模型。实验结果表明本发明对多模态情感分析性能的提升是有效的。

技术领域

本发明涉及基于文本指导的层级自适应融合的多模态情感分析方法，属于自然语言处理领域。

背景技术

随着互联网技术的发展，近年来，抖音、快手等社交媒体交流方式得到较快发展。越来越多的用户选择使用视频来表达自己的观点和情感，这些视频提供了大量的多模态数据。多模态情感分析(Multimodal Sentiment Analysis，MSA)也因此受到越来越多的关注，相关的研究已经被广泛应用到各个领域，例如社交媒体舆情监督、个性化推荐等。因此，多模态情感分析具有重要的研究意义和应用价值。

多模态情感分析不仅要充分表征单模态信息，还要考虑不同模态特征之间的交互与融合。Zadeh等人提出了张量融合网络(Tensor Fusion Network,TFN)，同时提出了一种记忆融合网络(Memory Fusion Network,MFN)，该网络使用LSTM来学习特定于视图的交互作用。Tsai等人提出了跨模态变换器，该变换器学习跨模态注意以强化目标模态。Yu等人引入了单峰子任务，以帮助模态表征学习。

尽管这些方法在多模态情感分析领域取得了一定的成功。但在以往的研究中，多模态融合方法通常将三种模态特征看作同等重要，侧重于多模态特征的融合，忽略不同模态对最终的情感分析结果的贡献，对模态重要性信息利用不足，这样可能会造成模态中重要信息的丢失，影响多模态情感分析性能。

发明内容

本发明提供了基于文本指导的层级自适应融合的多模态情感分析方法,以文本模态信息为指导实现多模态信息的层级自适应筛选及融合提升多模态情感分析的性能。

本发明的技术方案是：基于文本指导的层级自适应融合的多模态情感分析方法，所述方法的具体步骤如下：

Step1、准备数据集，对公共数据集数据进行预处理；

Step2、将处理好的数据输入到基于文本指导的层级自适应融合模型，通过特征表示模块对文本、语音、视觉三种模态信息进行表征；通过局部跨模态特征交互模块对获得的文本、语音、视觉三种特征提取模态相关特征；通过全局多模态交互模块采用门控机制过滤模态相关特征获得模态特有特征；通过局部-全局特征融合模块对模态相关特征和模态特有特征进行有效的融合。

作为本发明的进一步方案，所述Step1的具体步骤为：

Step1.1、下载CMU-MOSI数据集，其中CMU-MOSI数据集包括2199个简短的独白视频剪辑，每个视频片段利用人工对其进行情感分数注释，情感分数取值为[-3,+3]，代表情感强度的极性从极负向到极正向；其中CMU-MOSI训练、验证和测试集分别包含1284、229、686个视频片段；然后通过预处理形成pkl格式文件。

作为本发明的进一步方案，所述Step2中，通过特征表示模块对文本、语音、视觉三种模态信息进行表征具体包括：

Step2.1、多模态语言序列涉及三种模态：文本模态T、语音模态A和视觉模态V，定义输入序列为其中，l_{t,a,v}表示模态的序列长度；采用三个独立的子网络获取三种模态的特征表示；对于文本模态，使用预训练的12层BERT来提取句子表征，并将最后一层中的第一个单词向量作为整个句子的表示；利用BERT获得文本模态的特征表示，文本模态特征表示如下：