[发明专利]一种融合多特征和注意力机制的多模态情感分析方法

说明书

本发明公开了一种融合多特征和注意力机制的多模态情感分析模型，该模型具体包括以下步骤：通过多模态特征提取模块获得各模态丰富的低层特征；通过自注意力机制实现对三种模态内部信息的提取，获得对应的高层特征；通过跨模态注意力机制分别实现音频‑文本和视频‑文本的交互，在空间上实现模态间信息的交互，将学习到的模态内部信息和模态间交互信息进行拼接，得到更加丰富的音频和视频融合特征；最后拼接三种模态的最终表示并传入一个软注意力模块，为三种模态分配不同的权重，通过全连接层实现多模态情感分类结果。在公开数据集CH‑SIMS上进行测试，本发明可以有效提升多模态情感分析的准确性。

技术领域

本发明涉及多模态情感分析方法，特别涉及丰富的多模态特征的获取和多模态特征的融合。

背景技术

随着社会的不断进步、网络的迅速普及和社交媒体的爆炸式发展，人们表达观点和看法的途径大大拓宽，越来越多的人热衷于在社交媒体、短视频平台上表达自己的看法或观点。因此，在社交媒体、短视频平台上存在海量由用户发布的观点评论、日常分享等数据，其中大量数据是以文本、音频、视频等多种形式联合出现的。这些多模态数据蕴含着丰富的情感信息，对其进行深度挖掘，有助于产品优化、舆情监测、风险管理等应用的研究，具有较大的应用价值。

近年来，研究者在多模态情感分析领域进行了探索研究。多模态数据中各种模态之间往往存在异构性，为了利用异构数据的互补性，研究者提出了多种融合机制对不同模态数据进行特征融合和信息交互。早期关于多模态融合的研究是基于核模型和图形模型的，如多核学习和动态贝叶斯网络。近年来，深度学习模型的研究取得了很大的进展，基于深度学习的神经网络成为了多模态融合研究的主体，如张量融合网络、低秩多模态融合方法。随着注意力机制的出现，基于注意力的融合方法成为多模态情感分析的主流方法，如多模态转换器、深度情感唤醒网络。

虽然研究者不断探索新的融合方式以提高多模态情感分析的准确率，但是仍然存在一些不足。一方面在多模态数据的特征提取方面仍有很大的探索空间。现有的研究表明，在视频数据上主要集中在面部特征的提取表示，但是视频中的人物不仅包含多样的面部表情变化，还有丰富的肢体动作，在情感分析方面，这些肢体动作也传递了大量的信息。视频中人物的性别、年龄等自身属性对情感表达也有一定的影响。文本模态数据中的特征大部分采用基于预训练模型的字级向量表示，无法对词级向量进行有效表征，导致模型对文本语义的学习不够充分。另一方面在不同的语境中，不同模态的数据重要程度不同，基于Transformer的融合模型虽然可以很好的对模态间的信息交互进行建模，但是无法关注不同模态中更重要的部分，也没有将模态内部和模态间的信息结合起来。

发明内容

为解决上述技术问题，本发明的目的是解决多模态特征提取不充分，模态内部信息和模态间交互信息结合不充分的问题，提出了一种融合多特征和注意力机制的多模态情感分析方法。

本发明的一种融合多特征和注意力机制的多模态情感分析方法，包括以下步骤：

1、通过多模态特征提取模块获得各模态丰富的低层特征；

2、通过自注意力机制实现对三种模态内部信息的提取，获得对应的高层特征；

3、通过跨模态注意力机制分别实现音频-文本和视频-文本的交互，在空间上实现模态间信息的交互；

4、将学习到的模态内部信息和模态间交互信息进行拼接，得到更加丰富的音频和视频融合特征；

5、最后拼接三种模态的最终表示并传入一个软注意力模块，为三种模态分配不同的权重，通过全连接层实现多模态情感分类结果；

6、根据训练数据训练模型并更新参数，然后在测试集上并进行测试。

本发明的一种融合多特征和注意力机制的多模态情感分析方法，所述步骤1中，对SIMS数据集进行多模态特征提取，对于音频模态，通过LibROSA语音工具包提取声学特征作为低层音频特征；对于文本模态，提取文本字级向量表示和词级向量表示作为低层文本特征；对于视频模态，提取面部特征、肢体动作、性别和年龄等特征作为低层视频特征。