[发明专利]一种基于多维度注意力融合网络的多模态情绪分析方法

权利要求书

1.一种基于多维度注意力融合网络的多模态情绪分析方法，其特征在于，所述方法包括：

步骤一、构建一个多模态情绪分析数据库，数据库中的每一个样本包含语音、视频和文本三种目标模态数据，预先提取三种目标模态的预处理特征，并对每一个样本进行情绪标注；所述的情绪标注为一有限连续区间，区间内部继续等距划分成M个子区间，每个子区间表示情绪的程度范围；

步骤二、对步骤一中所述的三种目标模态，构建各自的多维度注意力融合网络，其中所述三种目标模态各自的多维度注意力融合网络都包含一个自相关特征提取模块和跨模态融合模块，语音目标模态的多维度注意力融合网络包含语音自相关特征提取模块和语音跨模态融合模块，视频目标模态的多维度注意力融合网络包含视频自相关特征提取模块和视频跨模态融合模块，文本目标模态的多维度注意力融合网络包含文本自相关特征提取模块和文本跨模态融合模块；所述自相关特征提取模块是一个Transformer网络；

步骤三、将步骤一中三种目标模态的预处理特征分别经过步骤二中各目标模块对应的自相关特征提取模块，提取三种模态的自相关信息，即语音自相关信息、文本自相关信息和视频自相关信息；其中，所述语音自相关特征提取模块、文本自相关特征提取模块、视频自相关特征提取模块都分别包含一个一级自相关特征提取器和一个二级相关特征提取器，所述的三种目标模态的自相关信息包含一级自相关特征和二级自相关特征；所述一级自相关特征提取器与二级相关特征提取器采用级联的方式，其中所述一级自相关特征提取器基于Transformer的多头自注意力机制，配置为输入目标模态的预处理特征以提取一级自相关特征，所述二级相关特征提取器基于Transformer的前馈神经网络，配置为输入所述目标模态的一级自相关特征以提取二级自相关特征；

步骤四、选取步骤三所述任一目标模态的一级自相关特征为待融合目标特征，其余两个目标模态的二级自相关特征为辅助融合特征，按照预设分组方式，送入到目标模态所在的跨模态融合模块，分别得到语音跨模态融合特征、文本跨模态融合特征、视频跨模态融合特征，其中所述的跨模态融合模块包含两个双模态融合器和一个加权集成网络；

步骤五、将步骤四所述每种目标模态的跨模态融合特征和步骤三所述的二级自相关特征相加得到多维度融合特征；

步骤六、将步骤五所述的语音、文本、视频多维度融合特征进行拼接得到全量多维度特征并送入打分模块获取情绪分数。

2.根据权利要求1所述的基于多维度注意力融合网络的多模态情绪分析方法，其特征在于，所述的Transformer的多头自注意力机制，其计算公式为：

Q_i＝XW_i^Q；

MultiHead_X₁＝Concat(head₁，...，head_n)

其中X为步骤二所述目标模态预处理特征，W_i^Q是目标模态预处理特征第i个头的查询映射权重，是目标模态预处理特征第i个头的键映射权重，是目标模态预处理特征第i个头的值映射权重，softmax为权重归一化函数，K_i^T为K_i的转置矩阵，d_k为缩放因子，n为头的个数，MultiHead_X₁为得到的一级自相关特征。

3.根据权利要求1所述的基于多维度注意力融合网络的多模态情绪分析方法，其特征在于，所述的前馈神经网络公式为：

MultiHead_X₂＝max(0，MultiHead_X₁·W₁+b₁)·W₂+b₂

其中MultiHead_X₂为所述的目标模态的二级自相关特征，W₁为一级自相关特征的权重，W₂为网络隐藏层权重，b₁为一级自相关特征的偏置，b₂为网络隐藏层偏置。