[发明专利]一种基于Transformer和多任务学习的多模态情感分析方法及系统

说明书

本发明提供了一种基于Transformer和多任务学习的多模态情感分析方法及系统。该方法包括，提取得到文本数据对应的第一模态、视频数据对应的第二模态和音频数据对应的第三模态；主任务：采用映射Transformer编码器，从三种模态中随机挑选两种模态，将挑选的两种模态映射到未被挑选的模态中，得到三个映射特征；采用Transformer解码器对三个映射特征进行处理，得到三个特征向量，将三个特征向量进行拼接，得到三模态融合特征；根据三模态融合特征预测主任务的情感极性；辅助任务：基于所述三个映射特征，依据设定的积极情感中心和消极情感中心，确定三个映射特征的标签，结合所述三个映射特征预测情感；基于主任务得到的情感极性和辅助任务得到的情感，得到情感分析结果。

技术领域

本发明属于自然语言处理多模态情感分析任务领域，尤其涉及一种基于Transformer和多任务学习的多模态情感分析方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

情感分析是自然语言处理中的一个热门任务，原始的情感分析主要集中在对文本做细粒度的研究。随着微博和抖音等社交媒体的普及，人们开始通过多种形式来表达自己的情感。我们可以通过识别面部表情和语音语调，再加上语言的帮助，得到比简单分析文本更多的情感信息。为了能够掌握短视频社交平台的用户舆论、了解当前新闻热点的社会影响，及时做出正确的应对方法，我们需要用多模态方法进行用户情感极性的分析。

面对互联网中每天更新和存储的海量视频信息，仅依靠人工进行鉴别审核是不现实的。近年来，随着深度学习的兴起，越来越多的基于神经网络的模型被应用于多模态情感分析领域中。目前多模态特征提取主要包括基于长短时记忆神经网络和基于Transformer的神经网络模型。多模态融合主要包括早期融合(特征层融合)、后期融合(决策层融合)和模型层融合。

这些复杂的融合机制可以很好地发挥作用，但仍存在一些问题。首先，以前的研究大部分都是针对对齐场景下的多模态联合表示，融合总是从一个方向开始，然后沿着这个方向持续到最后，缺少对总体模态依赖性的关注；其次，主流多模态训练数据集并没有提供其子任务的情感标签，忽视了单模态和双模态对最终融合情感分析的增益作用。

Transformer首次被提出是应用于神经机器翻译领域，这是一个序列到序列的结构，其编码器和解码器都是利用自注意力进行实现，可以在很多任务上实现最先进的性能，因此，Transformer已经成为自然语言处理中的热门架构。除了于神经机器翻译，Transformer也已成功应用于语言建模、语义角色标记、词感消歧、学习句子表述、视频活动识别。但是人类多模态语言时间序列和词嵌入不同，每个模态对应的序列都有着不同频率，如果使用基于长短时记忆神经网络的模型，很难针对时序不对齐的多模态进行分析。

多任务学习是迁移学习算法的一种，可以把多个相关的任务放在一起学习，同时学习多个任务，学习过程中通过一个在浅层的共享表示来互相分享、互相补充学习到的领域相关的信息，互相促进学习，提升泛化的效果。最近,多任务学习在自然语言处理中被广泛应用，多模态中不同模态的情感分析非常适合用来进行多任务学习。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于Transformer和多任务学习的多模态情感分析方法及系统，其利用Transformer的编码器构建映射Transformer，整合不同模态的信息，使每个单独的模态可以拥有其他模态的信息映射，获得更丰富的特征信息。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于Transformer和多任务学习的多模态情感分析方法。

一种基于Transformer和多任务学习的多模态情感分析方法，包括：

获取文本数据、视频数据和音频数据，提取得到文本数据对应的第一模态、视频数据对应的第二模态和音频数据对应的第三模态；