[发明专利]一种基于协同注意力融合的方面级多模态情感分析方法

说明书

本发明提出了一种基于协同注意力的全局‑局部特征融合网络的方面级多模态情感分析方法，包括如下步骤：1）获得左文本上下文表示、右文本上下文表示、方面聚合表示以及图像局部表示；2）生成方面引导的全局文本特征表示和方面引导的全局图像特征表示；3）构建跨模态特征交互机制来同时生成融入视觉的局部文本特征表示和融入文本的局部视觉特征表示；4）构建门控的多模态融合机制；5）得到情感极性预测结果。该方法在方面级多模态情感分析任务中性能得到提升，能够有效地捕获模态内的全局语义关联和模态间的局部语义对齐。

技术领域

本发明涉及多模态内容理解和数据分析技术领域，尤其是一种基于协同注意力融合的方面级多模态情感分析方法。

背景技术

方面层次(即实体依赖)的社交媒体帖子情感分析最近日益受到关注，给定一个句子和对应的图像以及一个目标实体，其目的是预测用户帖子中提到的目标实体上的情感倾向，方面级的情感分析能更精确地表达细粒度的情感。大多数现有的任务主要是针对句子或图像的整体来分析情感，而方面级情感分析不仅考虑句子或图像中隐含的情感信息还要考虑情感所依附的目标，因为不同的实体对应不同。因此，在一个统一的模型中如何构建观点目标和文本/视觉内容之间的对齐，去建模模态内的动态，发现模态之间的对齐融合，此问题仍然是一个挑战。

在现有的方面级多模态情感分析中，大都从全局特征的角度实现多模态特征融合，并没有考虑不同模态中局部细粒度特征的潜在关联。方面指向的不同模态的关键内容可能局限于局部，因此，文本中的每个词与图像中的每个局部区域之间细粒度的语义关联需要建模。由于注意力机制在各个领域上都有所应用，在本发明的多模态特征融合中，采用门控的协同注意力机制去学习文本引导图像上下文的局部语义对齐和图像引导文本上下文的局部语义对齐。此外，层次化地融合不同层次的多模态信息，从而实现全局-局部特征的多层深度融合用于方面级多模态情感分析。

发明内容

本发明针对方面级多模态情感分析存在的问题，提出了一种基于协同注意力融合的方面级多模态情感分析方法。这种方法可以更好地捕捉模态内部和模态之间的动态，以达到更好的方面级多模态情感分析效果。

实现本发明的的技术方案是：

一种基于协同注意力融合的方面级多模态情感分析方法，包括如下步骤：

1)获得左文本上下文表示、右文本上下文表示、方面聚合表示以及图像局部表示：采用预训练BERT模型或者Glove词嵌入得到文本嵌入序列，再使用长短时记忆网络来学习文本嵌入序列的上下文依赖，以此来得到左文本上下文表示、右文本上下文表示以及方面表示，并对方面表示进行平均池化得到方面聚合表示；对于图像，采用ResNet网络得到图像的特征表示，并将其转换成图像局部表示；

2)生成方面引导的全局文本特征表示和方面引导的全局图像特征表示：利用方面聚合表示引导的注意力机制来分别引导步骤1)得到的左文本上下文表示、右文本上下文表示，然后使用低秩线性池化来将方面聚合表示分别和方面聚合表示引导的左、右文本上下文表示进行交互，并将交互后的结果拼接来得到方面引导的全局文本特征表示；利用方面聚合表示引导的注意力机制来引导步骤1)得到的图像局部表示来得到方面引导的全局图像特征表示；

3)构建跨模态特征交互机制来同时生成融入视觉的局部文本特征表示和融入文本的局部视觉特征表示：通过多头自注意力来分别学习步骤1)得到的文本嵌入序列和图像局部表示，然后得到文本序列上下文特征和图像局部上下文特征，并使用文本引导的视觉上下文注意力机制得到文本引导的视觉上下文特征，然后通过门控机制将其和文本序列上下文特征融合来生成融入视觉的局部文本特征表示；同时，使用视觉引导的文本上下文注意力机制得到视觉引导的文本上下文特征，通过门控机制将其和图像局部上下文特征融合来生成融入文本的局部视觉特征表示；