[发明专利]基于文本指导的层级自适应融合的多模态情感分析方法

权利要求书

1.基于文本指导的层级自适应融合的多模态情感分析方法，其特征在于：所述方法的具体步骤如下：

Step1、准备数据集，对公共数据集数据进行预处理；

Step2、将处理好的数据输入到基于文本指导的层级自适应融合模型，通过特征表示模块对文本、语音、视觉三种模态信息进行表征；通过局部跨模态特征交互模块对获得的文本、语音、视觉三种特征提取模态相关特征；通过全局多模态交互模块采用门控机制过滤模态相关特征获得模态特有特征；通过局部-全局特征融合模块对模态相关特征和模态特有特征进行有效的融合。

2.根据权利要求1所述的基于文本指导的层级自适应融合的多模态情感分析方法，其特征在于：所述Step1的具体步骤为：

Step1.1、下载CMU-MOSI数据集，其中CMU-MOSI数据集包括2199个简短的独白视频剪辑，每个视频片段利用人工对其进行情感分数注释，情感分数取值为[-3,+3]，代表情感强度的极性从极负向到极正向；其中CMU-MOSI训练、验证和测试集分别包含1284、229、686个视频片段；然后通过预处理形成pkl格式文件。

3.根据权利要求1所述的基于文本指导的层级自适应融合的多模态情感分析方法，其特征在于：所述Step2中，通过特征表示模块对文本、语音、视觉三种模态信息进行表征具体包括：

Step2.1、多模态语言序列涉及三种模态：文本模态T、语音模态A和视觉模态V，定义输入序列为其中，l_{t,a,v}表示模态的序列长度；采用三个独立的子网络获取三种模态的特征表示；对于文本模态，使用预训练的12层BERT来提取句子表征，并将最后一层中的第一个单词向量作为整个句子的表示；利用BERT获得文本模态的特征表示，文本模态特征表示如下：

H_t＝BERT(F_t,θ^bert)

其中，H_t表示文本模态特征,l_t表示文本模态的序列长度，d_t表示文本模态的特征维度，θ^bert为BERT模型的网络参数；

对于语音模态和视觉模态，使用单向LSTM来获取两种模态相对应的时间特征，采用最后一层的隐藏时刻状态作为整个序列的表示；F_a，F_v分别通过单向LSTM，得到语音模态特征表示和视觉模态特征表示，语音模态和视觉模态的特征表示如下：

其中，表示语音模态特征，表示视觉模态特征，l_a，l_v分别表示语音模态和视觉模态的序列长度，d_a,d_v分别表示语音模态和视觉模态的特征维度,θ^lstm为LSTM模型的网络参数。