[发明专利]一种基于多维度注意力融合网络的多模态情绪分析方法

说明书

本发明公开了一种基于多维度注意力融合网络的多模态情绪分析方法，包括：针对包含语音、视频、文本等多个模态的样本数据提取语音预处理特征、视频预处理特征、文本预处理特征；然后对每个模态构建所述的多维度注意力融合网络，利用网络内部的自相关特征提取模块提取一级自相关特征和二级自相关特征，然后将三种模态的自相关信息进行组合，利用网络内部的跨模态融合模块得到三种模态的跨模态融合特征；再利用所述的二级自相关特征和跨模态融合特征合并得到模态多维度特征；最后将所述的模态多维度特征进行拼接，确定情绪分数，进行情绪分析；该方法能够有效的在非对齐多模态数据场景下进行特征融合，充分利用多模态的关联信息，进行情绪分析。

技术领域

本发明属于多模态情感计算领域，更具体地，涉及一种基于多维度注意力融合网络的多模态情绪分析方法。

背景技术

情绪分析在日常生活中有着诸多应用。伴随着大数据和多媒体技术的发展，借助多模态情绪分析技术对数据的语音、视频、文本的不同模态进行分析，更有利于挖掘数据背后的浅层含义。例如在回访调查中，通过用户的语音、面部和说话内容的综合分析，获知用户对服务或产品的满意程度。

目前，多模态情绪分析的难点在于如何对多模态信息进行有效的融合，由于语音、视频、文本特征的获取方式完全不同。当描述相同内容时，在时间维度上，语音和视频两种模态的序列长度与文本相差较大，三种模态特征在时间维度上做到一一对应，这对模态间的融合造成了很大的困难。

目前常见的作法有两种，一种是基于模态集成，即考虑在整个情绪分析系统中选取数据层、特征层、决策层做中间结果的拼接，然后进行情绪的预测。这种方式仅仅只是将三种模态进行简单的结果集成，并没有考虑到模态间的关联信息，容易因为信息冗余造成模型过拟合。另一种做法是基于模态标注对齐，即在进行数据标注时，将三种模态在时间维度上依据文字或音素进行强制对齐，这样就保证了三种模态在时间上的对应关系，再利用循环神经网络、卷积神经网络、注意力机制、Seq2Seq框架进行模态融合，这种方式的标注成本大，不利于实际的生产生活环境。

发明内容

本发明的目的在于提供一种基于多维度注意力融合网络的多模态情绪分析方法，该方法可以有效地的避免基于集成方法导致的过拟合和基于模态标注对齐导致的标注成本过大的问题，并充分利用模态内和模态间的多维度信息，获得更加准确、可靠的情绪分析结果。

本发明解决上述技术问题采取以下步骤：

步骤一、构建一个多模态情绪分析数据库，数据库的大小为N，数据库中的每一个样本包含语音、视频、文本三种目标模态数据，并预先提取三种目标模态的预处理特征，然后对每一个样本进行情绪标注。

步骤二、将步骤一中所述的三种目标模态，构建各自的多维度注意力融合网络。

其中，所述三种目标模态各自的多维度注意力融合网络都包含一个由Transformer网络构成的自相关特征提取模块和跨模态融合模块。

步骤三、将步骤一中所述的预处理特征分别经过步骤二所述自相关特征提取模块，提取三种模态的自相关信息，即语音自相关信息、文本自相关信息、视频自相关信息。

其中，所述语音自相关特征提取模块、文本自相关特征提取模块、视频自相关特征提取模块都分别包含一个一级自相关特征提取器和一个二级相关特征提取器。

所述语音自相关特征提取模块配置为提取输入语音预处理特征的自相关信息。

所述文本自相关特征提取模块配置为提取输入文本预处理特征的自相关信息。

所述视频自相关特征提取模块配置为提取输入视频预处理特征的自相关信息。

所述的三种模态的自相关信息包含一级自相关特征和二级自相关特征。