[发明专利]基于知识注入的双注意力网络的多模态讽刺意图识别方法

权利要求书

1.一种基于知识注入的双注意力网络的多模态讽刺意图识别方法，所述方法包括：

获取待识别数据内容，所述待识别数据内容包括：若干文本、图片对，所述文本包含若干个单词i，所述图片涉及多个对象j；

分别对所述文本中的单词i与所述图片中的对象j进行编码，得到单词原始表示与对象原始表示

基于所述待识别数据内容的隐性上下文信息，对所述单词原始表示与所述对象原始表示进行扩展，得到单词上下文感知表示与对象上下文感知表示

使用双注意力网络分别对所述单词原始表示所述对象原始表示以及所述单词上下文感知表示所述对象上下文感知表示进行注意力计算，获取原始表示与上下文感知表示的注意力计算结果；

针对原始表示与上下文感知表示的注意力计算结果，通过比对文本和图片间的差异，得到原始跨模态对比表示和上下文感知跨模态对比表示；

基于所述原始跨模态对比表示和所述上下文感知跨模态对比表示，计算所述待识别数据内容的讽刺意图识别结果。

2.如权利要求1所述的方法，其特征在于，所述对所述图片中的对象j进行编码，得到对象原始表示包括：

对于每张图片，使用预训练的目标检测器从图片中检测出对象j的区域，并将多类分类层之前的池化特征作为对象j的视觉特征表示r_j；

将所述视觉特征表示r_j投影到文本表示的空间中；

通过计算文本中每个单词i与对象j的相关性，获取特定于对象j的文本表示

基于所述文本表示与视觉特征表示r_j，计算对象j带有与文本相关性的表示

将视觉特征表示r_j组成的对象序列输入双向门控循环神经网络，并将所述表示作为计算权重，从而得到每一对象j的对象原始表示

3.如权利要求1所述的方法，其特征在于，所述基于所述待识别的数据内容的隐性上下文信息，对所述单词原始表示与所述对象原始表示进行扩展，得到单词上下文感知表示与对象上下文感知表示包括：

针对每一图片或文本中的事件描述，生成不同类型的推理知识并计算所述推理知识的常识推理表示H^M,R，其中，w_l标示推理知识中的单词，1≤l≤L，L表示推理知识的长度，关系类型R∈{before,after,intent}，before表示事件前关系类型，after表示事件后关系类型，intent表示场景中人物意图关系类型，模态M表示文本模态或图片模态；

基于所述单词原始表示组成的文本特征映射H^T、所述对象原始表示组成的图片特征映射H^I、以及所述常识推理表示H^M,R，计算所述待识别数据内容与所述推理知识之间的关联矩阵C^M；

基于所述关联矩阵C^M，获取所述单词原始表示与所述对象原始表示的文本带有隐性上下文信息的表示和图片带有隐性上下文信息的表示

通过为每一所述推理知识学习一个相关权重，计算所述表示与所述表示的增强表示与增强表示

基于所述增强表示与所述增强表示计算单词上下文感知表示与对象上下文感知表示其中，所述单词感知向量表示包括：单词的场景状态上下文感知表示和情感状态上下文感知表示所述对象上下文感知向量表示包括：对象的场景状态上下文感知表示和情感状态上下文感知表示

4.如权利要求3所述的方法，其特征在于，所述基于所述关联矩阵C^M，获取所述单词原始表示与所述对象原始表示的文本带有隐性上下文信息的表示和图片带有隐性上下文信息的表示包括：

基于所述关联矩阵C^M与所述常识推理表示H^M,R，使用注意力机制形成推理知识的词级表示与对象级表示

在所述单词原始表示与所述对象原始表示分别相加所述词级表示与所述对象级表示得到表示与表示