[发明专利]一种基于协同注意力融合的方面级多模态情感分析方法

权利要求书

1.一种基于协同注意力融合的方面级多模态情感分析方法，其特征在于，包括如下步骤：

1）获得左文本上下文表示、右文本上下文表示、方面聚合表示以及图像局部表示：采用预训练BERT模型或者Glove词嵌入得到文本嵌入序列，再使用长短时记忆网络来学习文本嵌入序列的上下文依赖，以此来得到左文本上下文表示、右文本上下文表示以及方面表示，并对方面表示进行平均池化得到方面聚合表示；对于图像，采用ResNet网络得到图像的特征表示，并将其转换成图像局部表示；

2）生成方面引导的全局文本特征表示和方面引导的全局图像特征表示：利用方面聚合表示引导的注意力机制来分别引导步骤1）得到的左文本上下文表示、右文本上下文表示，然后使用低秩线性池化来将方面聚合表示分别和方面聚合表示引导的左、右文本上下文表示进行交互，并将交互后的结果拼接来得到方面引导的全局文本特征表示；利用方面聚合表示引导的注意力机制来引导步骤1）得到的图像局部表示来得到方面引导的全局图像特征表示；

3）构建跨模态特征交互机制来同时生成融入视觉的局部文本特征表示和融入文本的局部视觉特征表示：通过多头自注意力来分别学习步骤1）得到的文本嵌入序列和图像局部表示，然后得到文本序列上下文特征和图像局部上下文特征，并使用文本引导的视觉上下文注意力机制得到文本引导的视觉上下文特征，然后通过门控机制将其和文本序列上下文特征融合来生成融入视觉的局部文本特征表示；同时，使用视觉引导的文本上下文注意力机制得到视觉引导的文本上下文特征，通过门控机制将其和图像局部上下文特征融合来生成融入文本的局部视觉特征表示；

4）构建门控的多模态融合机制：采用门控机制将步骤2）得到的方面引导的全局文本特征表示来过滤融合步骤2）得到的方面引导的全局图像特征表示，得到全局多模态融合表示；同时又将步骤3）得到的融入视觉的局部文本特征表示和融入文本的局部视觉特征表示进行融合，得到局部多模态融合表示；

5）得到情感极性预测结果：对步骤2）得到的全局文本特征表示、全局图像特征表示和步骤4）得到的全局多模态融合表示以及局部多模态融合表示拼接后输入到softmax函数得到情感分类的极性。

2.根据权利要求1所述的基于协同注意力融合的方面级多模态情感分析方法，其特征在于，所述步骤1）中的获得左文本上下文表示、右文本上下文表示、方面聚合表示以及图像局部表示包括如下步骤：

1.1）首先，采用预训练BERT模型或者Glove词嵌入得到文本嵌入序列，再使用长短时记忆网络来学习文本嵌入序列的上下文依赖，以此来得到左文本上下文表示、右文本上下文表示以及方面表示，并对方面表示进行平均池化得到方面聚合表示；

1.2）对于图像，采用ResNet模型抽取图像特征得到图像的特征表示，并把图像分为不同的区域，得到图像局部表示以便于方面进行细粒度的引导图像局部特征。

3.根据权利要求1所述的基于协同注意力融合的方面级多模态情感分析方法，其特征在于，所述步骤2）中的生成方面引导的全局文本特征表示和方面引导的全局图像特征表示包括如下步骤：

2.1）对于生成方面引导的全局文本特征表示：

①利用步骤1）中得到的左文本上下文表示与方面聚合表示的双线性交互关系，计算左文本上下文中每个隐状态的注意力权重，然后加权求和得到方面聚合表示引导的左文本上下文表示，采用同样的方法得到方面聚合表示引导的右文本上下文表示；

② 采用低秩双线性池化来分别学习方面聚合表示与方面聚合表示引导的左、右文本上下文表示的交互，并将得到的特征拼接，得到方面引导的全局文本特征表示，低秩双线性池化能够关注特征的两两交互，能够实现方面和左右上下文的有效关注；

2.2）对于方面引导的全局图像特征表示，利用步骤1）中得到的图像局部表示与方面聚合表示的双线性交互关系，计算图像的每个区域的注意力权重，然后加权求和得到方面引导的全局图像特征表示。