[发明专利]基于多粒度生成图像增强表示的隐式篇章关系识别方法

权利要求书

1.基于多粒度生成图像增强表示的隐式篇章关系识别方法，其特征在于，包括以下步骤：

(101)构建融合层：融合层内包括词嵌入模块、图像生成模块和文本-图像融合模块：1)词嵌入模块通过在嵌入空间中将篇章论元Arg1,Arg2的词向量序列表示逐一映射成两个篇章论元的向量表示，以捕捉篇章论元的上下文；2)图像生成模块通过文本到图像的生成神经网络生成篇章论元对应的图像，包括句子级别的论元图像生成和短语级别的论元图像生成，然后通过卷积神经网络CNN提取图像的特征，即图像的向量表示；3)文本-图像融合模块将篇章论元的向量表示和篇章论元对应的短语、句子图像的向量表示依次拼接后得到融合图文信息的篇章论元表示；

具体包括：1)词嵌入模块，给定论元对其中l₁,l₂分别是论元Arg1和Arg2的单词个数，分别是Arg1，Arg2中第i个和第j单词；将每个单词在预先训练的单词嵌入上进行查表操作获取对应的低维分布式向量表示后分别组成词向量序列表示即可获得篇章论元Arg1和Arg2的论元向量序列表示：Textrep₁,Textrep₂；2)图像生成模块，选择具有注意力生成对抗网络的细粒度文本到图像生成模型AttnGAN实现文本到图像的生成；AttnGAN的输入是论元的向量序列表示，输出的结果经过卷积神经网络CNN得到图像向量表示；具体来说，将两个论元和它们的短语分别输入AttnGAN，然后获得由卷积神经网络CNN产生的句子和短语图像向量表示：和其中分别表示Arg1中第k个短语的图像向量表示和Arg2中第l个短语的图像向量表示，p_n,p_m分别表示Arg1和Arg2中短语的个数，分别表示Arg1和Arg2的句子级图像向量表示；3)文本-图像融合模块，在获得论元向量表示Textrep₁,Textrep₂以及论元，论元短语的图像向量表示和后，根据图像向量表示生成的时间顺序依次与论元向量表示进行拼接得到融合图文信息的篇章论元表示：

(102)构建注意力控制层：通过双向长短期记忆神经网络BiLSTM学习包含图文信息的篇章论元的语义信息，并利用注意力机制捕获篇章论元中重要的词汇信息，将捕获到的重要词汇信息融入篇章论元的表示学习中，以加深对篇章论元的语义理解，从而获取融合重要图文信息的篇章论元表示；

(103)构建基于自注意力机制的图文交互层：在不同论元中的单词对判断两个论元间的篇章关系都有不同的重要信息，不同论元生成的图像信息也有着不同的交互信息；因此将两个来自步骤(102)的融合重要图文信息的篇章论元表示拼接成一个整体后输入到基于自注意力机制Self-attention mechanism的图文交互层能够捕获融合文本、图像的交互信息，从而捕获每个单词、图像内在的语义信息，以生成语义丰富的用于识别篇章关系的特征向量表示；

(104)构建篇章关系识别层：利用步骤(103)生成的用于识别篇章关系的特征向量表示对隐式篇章关系进行识别。