[发明专利]基于知识增强的注意力神经网络的隐式篇章关系识别方法

权利要求书

1.基于知识增强的注意力神经网络的隐式篇章关系识别方法，其特征在于，包括以下步骤：

(1)构建基本论元表示层；首先根据索引进行查表操作实现单词嵌入；然后将篇章论元中原始单词表示转换为低维分布式表示；继而利用神经网络对所有篇章论元进行编码，最终获得基本的篇章论元表示；

(2)构建外部知识表示层；通过Translating Embedding(TransE)实现篇章论元对中所有实体和实体关系的低维向量表示，其中，实体表示中蕴含了相应的实体关系信息，将实体表示作为隐式篇章关系识别的外部知识引入；整个过程包括两个部分：1)外部知识的检索，利用外部知识得到实体关系向量表示；2)构建篇章论元对中所有实体的关系矩阵；

(3)构建知识增强的论元间交互注意力机制；利用互注意力机制捕获带有重要信息的论元对间的交互信息，其中，引用注意力机制的神经网络能够动态学习到可体现篇章论元对交互信息的注意力矩阵；然后将步骤(2)中获得的实体关系矩阵作为外部知识投影到注意力矩阵上，即可获得使用外部知识增强基本论元对表示的注意力矩阵；

(4)构建知识增强的组合表示模块；将步骤(3)中获得的知识增强注意力矩阵作用在基础论元表示上，即可获取带有外部知识信息的论元表示，同时包含整个论元对的上下文信息；

(5)构建篇章关系识别模块，利用步骤(4)中获取到的带有外部知识信息的论元表示进行关系识别，从而得到篇章关系。

2.根据权利要求1所述基于知识增强的注意力神经网络的隐式篇章关系识别方法，其特征在于，步骤(1)具体包括：

对于篇章论元的原始表示，首先通过嵌入向量函数查找出词汇表中的每个词w相应的向量表示其中d表示嵌入向量的维度；由于每个论元被看作是一个词向量的序列，因此在篇章关系中，论元被表示为：

其中Arg1和Arg2分别包含n₁,n₂个单词；为了在上下文中表示论元，使用了双向长短时记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)捕获在序列中每个位置t处的上下文相关的隐藏状态，公式如下：

h_t＝BiLSTM(w_t,h_t-1) (1)

在公式(1)中，分别是前向网络层和后向的隐藏层状态，它们分别保存了历史和未来的信息，引入了单词的上下文信息，使单词表示更为符合语义表征；因此，Arg1中的第i个单词和Arg2中的第j个单词的隐藏层状态分别编码为和其中w_t表示t时刻的单词表示；h_t-1表示t-1时刻的隐藏层状态。