[发明专利]基于知识增强的注意力神经网络的隐式篇章关系识别方法

说明书

本发明公开一种基于知识增强的注意力神经网络的隐式篇章关系识别方法，包括如下步骤：1)构建基本论元表示层；2)构建外部知识表示层；3)构建知识增强的论元间交互注意力机制，目的是将外部知识作为关系向量与带有论元交互信息的矩阵相融合；4)知识增强的组合表示模块建模，将外部知识的注意力机制作用于基础论元表示上，从而获取具有外部知识指导且具有重要信息的论元表示，同时包含整个论元对的上下文信息；5)构建篇章关系识别模块，利用所得的带有外部知识信息的论元表示进行关系识别。该方法通过外部知识与内在关系识别特征相结合的方式，得到的隐式篇章关系识别结果相比于现有模型在相关评价指标上取得了更好的表现。

技术领域

本发明涉及自然语言处理中篇章分析技术领域，尤其是涉及篇章关系识别技术，具体为一种基于知识增强的注意力神经网络的隐式篇章关系识别方法。

背景技术

篇章关系描述了两个相邻的文本单元(例如子句，句子和较大的句子组)如何在逻辑上彼此连接，通常被定义为带有两个论元的连词(分别为Arg1和Arg2)，例如时序关系，因果关系等。没有显式连接词的隐式篇章关系识别需要从特定的语境来推断两者之间的关系，这依然是一个具有挑战性的问题。隐式篇章关系识别有利于许多流行自然语言处理(Natural Language Processing,NLP)应用，如机器翻译、文本摘要、对话系统等。

以往的研究主要包括：(1)传统的基于特征的模型，(2)基于神经网络的模型。前者采用人为设计的语言特征(如极性、词对、位置信息等)和复杂的规则等[2-4]。然而，隐性篇章关系根源于语义，难以从表面特征上进行识别[5,6]。后者通过编码两个没有交互信息的篇章论元获得了更好的论元表征，能够更准确地把握篇章关系。进一步的研究采用了较为复杂的神经网络与注意力机制、门控机制或记忆机制对论元对的交互信息和论元的重要指示信息进行挖掘。然而，他们忽略了两个论元之间的双向不对称交互，只关注到句子内部的信息[7-9]。

认知心理学的研究认为，人类记忆和理解事物的能力不仅取决于不同类型的记忆(例如即时记忆，长期记忆)，还取决于它们之间的相互作用。直观地说，在判断篇章关系时，大脑会自动地唤醒相关的外部知识，这对关系识别很有帮助。为了模仿这一机制，利用相关知识来捕获有意义的信息，这可以丰富对篇章论元的语义理解。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种基于知识增强的注意力神经网络的隐式篇章关系识别的方法(KANN)。利用外部知识建立关系矩阵，得到关系嵌入向量，由于关系矩阵增强了两个论元之间的非对称交互，因此关系嵌入向量丰富了论元表示，有利于篇章关系的识别。

该方法为了更好进行隐式篇章关系识别，构建了基于知识增强的注意力神经网络，其引入外部知识，丰富了论元表示，有利于篇章关系的识别。该方法首先利用基本论元表示层得到论元对的嵌入向量，进而通过外部知识表示层得到论元中可能包含的所有实体对-关系的嵌入表示，然后通过知识增强的论元间交互注意力机制分别得到互注意力矩阵和知识增强注意力矩阵，再通过知识增强的组合表示模块得到含有外部知识特征和上下文信息的论元表示，最后通过关系识别模块进行篇章关系识别。

本发明的目的是通过以下技术方案实现的：基于知识增强的注意力神经网络的隐式篇章关系识别方法，包括以下步骤：

(1)构建基本论元表示层；首先根据索引进行查表操作实现单词嵌入；然后将篇章论元中原始单词表示转换为低维分布式表示；继而利用神经网络对所有篇章论元进行编码，最终获得基本的篇章论元表示；

(2)构建外部知识表示层；通过Translating Embedding(TransE)[1]实现篇章论元对中所有实体和实体关系的低维向量表示，其中，实体表示中蕴含了相应的实体关系信息，将实体表示作为隐式篇章关系识别的外部知识引入；整个过程包括对两个部分：1)外部知识的检索，利用外部知识得到实体关系向量表示；2)构建篇章论元对中所有实体的关系矩阵；