[发明专利]一种基于神经网络的双向多段落阅读零样本实体链接方法和装置

说明书

本发明涉及一种基于神经网络的双向多段落阅读零样本实体链接方法和装置，属于自然语言分析领域。在零样本实体链接中，实体的指称必须链接到训练集中没有见过的实体，并且只能利用文本信息。本发明构造了基于预训练语言模型的神经网络模型，首先基于数据集中的文本进行语言模型预训练，获得文本的表示，然后通过实体指称的上下文匹配不同实体的多个段落的描述，充分利用分散在不同段落的文本匹配信息。更进一步，考虑到实体指称所在的文本也包含多个段落的信息，模型再次使用上一步得到的信息来匹配多个实体指称的段落，从而构成双向的阅读匹配。基于这样的机制，本发明不仅可以迁移到多个领域的文本，而且可以充分利用不同的段落之间的匹配信息。

技术领域

本发明属于自然语言处理领域，特别涉及一种基于神经网络的双向多段落阅读零样本实体链接方法和装置。

背景技术

实体链接指的是将文本中的实体提及(mention)链接到知识库中该实体提及实际所指的实体(entity)上，是自然语言分析中的重要组成部分。实体链接技术有助于信息检索，信息抽取以及自然语言问答等功能。

目前，现有的实体链接系统主要将实体链接到一个综合的知识库中，依赖大量标注数据并且利用到了除了文本信息之外的其他信息。比如，实体的出现频率。但是，相比于普通的领域，对于一些特定领域的实体链接，比如电影或者小说中的人物，会更有挑战性。这是因为在这些领域中的知识库往往只包含文本数据，并且缺少实体链接的标注数据。现有的实体链接系统不能够充分理解实体提及的上下文和知识库中的实体描述之间的关系，使得现有的实体链接系统表现较差。

发明内容

本发明解决的技术问题：提供一种基于神经网络的双向多段落阅读的零样本实体链接方法，用于解决实体链接过程中，对于提高未曾见过的实体的链接准确性。

为了解决上述问题，本发明提供一种实体链接方法，所述方法包括两阶段，其中第一阶段是预训练阶段，其目的是增强编码器对文本的表示能力，第二阶段为实体链接阶段。其中第一阶段不是必需的阶段，即本发明可以不进行预训练，而直接使用实体链接阶段的步骤。

所述方法的第一阶段包括以下步骤：

(1)使用掩码语言模型作为训练目标在大规模语料中对编码器进行预训练。

(2)基于(1)步训练后的编码器，使用掩码语言模型作为训练目标在实体链接人工标注语料对编码器进行预训练。

(3)基于(2)步训练后的编码器，使用掩码语言模型作为训练目标在目标领域的语料对编码器进行预训练。

进一步地，所述步骤(1)，(2)，(3)使用相同的训练目标，在不同的语料上进行训练。具体实现如下：

11)编码器采用BERT结构，或者使用其他类型的神经网络包括CNN，LSTM等作为编码器。

12)将大规模语料/实体链接人工标注语料/目标领域语料中的文本处理成固定长度的段落，然后随机选取部分单词替换成[MASK]占位符。

13)为了令编码器对实体的上下文产生更好的表示，提取文本中出现的所有能够准确匹配预设知识库中的实体标题的实体提及的位置，作为候选预训练掩码位置集合。

14)从候选预训练掩码位置集合中，随机选取部分位置替换成[MASK]占位符。

15)将替换后的文本中通过WordPiece算法分词，然后查找词表中对应的词向量表示。

16)将得到的词向量表示输入到编码器中，得到每个位置的表示向量。

17)将得到的表示向量通过全接连层，输出[MASK]占位符的位置预测的最大概率的单词。

18)使用交叉熵损失函数，令输入[MASK]位置输出的单词还原原始文本。