[发明专利]基于同构性和异质性动态信息交互的多模态情感分类方法

说明书

基于同构性和异质性动态信息交互的多模态情感分类方法，涉及多模态情感分析技术领域，本申请提出基于同构性和异质性动态信息交互的多模态情感分类方法，特别是针对目前多模态表达空间内的同构性和异质性特征，本申请采用了一个具有分布排列的共享子空间捕捉模态间潜在的共性和特征，并且设计了一个多模态动态信息交互方法动态融合文本和音频模态内同构性和异质性信息，从而保留各模态的特性，并消除各模态间所存在的歧义和噪声，进而提升了情感分类的准确性。

技术领域

本发明涉及多模态情感分析技术领域，具体为基于同构性和异质性动态信息交互的多模态情感分类方法。

背景技术

目前，多模态情感分析的研究领域已经有了很多重要的研究和发现。大多数研究主要集中在不同模态特征分析和多模态语义融合，并且已经有了大量的研究和发现。2018年，Yao等人提出了多模态因子分解情感分析模型(MFM)。MFM通过优化多模态数据和标签联合生成鉴别目标。之后通过区分鉴别目标确保学习到的表征具有丰富的模态特征。2020年Kai等人提出了一种跨模态BERT多模态情感分析模型(CM-BERT)。CM-BERT首先结合来自文本和音频模态的信息来微调预先训练过的BERT模型。之后采用一种新颖的掩蔽多模态注意作为其核心方法，通过文本和音频模态间的动态交互调整词的权重，提升多模态情感识别的精确度。2020年Wasifur等人提出一种多模态适应门-BERT多模态情感分析方法(MAG-BERT)。MAG-BERT利用BERT作为主干网络，以非语言行为为条件的注意力，基本上将视觉和听觉的信息因素映射为一个具有轨迹和大小的矢量。在微调过程中，这个适应向量修改BERT和XLNet的内部状态，允许模型无缝地适应多模态输入。2021年Wenmeng等人提出了一种自监督多任务多模态模型(Self-MM)。Self-MM采用自监督多任务学习策略，通过设计多模态标签和模态表示的单峰标签，联合训练多模态和单模态任务，分别学习一致性和差异性来调整每个子任务的权重。虽然以上研究已经去了显著成效，但是大多数方法并没有明确分析多模态信息深层次多维度的语义关联和差异性，会导致各模态间存在歧义和噪声，进而影响情感分类的准确性。

发明内容

本发明的目的是：针对现有技术中并没有明确分析多模态信息深层次多维度的语义关联和差异性，会导致各模态间存在歧义和噪声，进而导致情感分类不准确的问题，提出基于同构性和异质性动态信息交互的多模态情感分类方法。

本发明为了解决上述技术问题采取的技术方案是：

基于同构性和异质性动态信息交互的多模态情感分类方法，包括以下步骤：

步骤一：获取CMU-MOSI多模态情感数据集，并对CMU-MOSI多模态情感数据集进行预处理，得到文本异质性特征和音频异质性特征，所述预处理具体步骤为：

步骤一一：将数据集内的文本序列数据经过BERT模型的编码层和解码层进行特征提取，得到文本异质性特征；

步骤一二：将数据集内的音频语义信号采用COVAREP库提取出每一帧内的音频异质性特征；

步骤二：采用P2FA将文本异质性特征和音频异质性特征在单词级别的每个时间步内进行模态对齐，对模态对齐后的文本异质性特征和音频异质性特征取平均，得到文本、音频两种模态单词级别对齐的长度相同的特征；

步骤三：将文本、音频两种模态单词级别对齐的长度相同的特征映射到一维卷积网络层，输出维度相同的文本异质性特征和音频异质性特征；

步骤四：将维度相同的文本异质性特征和音频异性质特征映射到一个多模态共享权重的子空间，并通过分布式排列学习不同模态之间的同构性，得到文本模态同构隐藏特征和音频模态同构隐藏特征；

步骤五：将文本异质性特征与文本模态同构隐藏特征进行矩阵相乘，得到文本信息交互矩阵；

将音频异质性特征和音频模态同构隐藏特征进行矩阵相乘，得到音频信息交互矩阵；