[发明专利]基于一致性文本增强的远程监督关系抽取方法及装置

说明书

本发明提供一种基于一致性文本增强的远程监督关系抽取方法及装置，该方法包括：按实体对和关系标签对多个句子实例进行划分，得到多个句子包；对每个句子包中的每个句子实例采用不同的文本增强方法，得到每个句子包中的每个句子实例对应的强增强样本以及弱增强样本；确定噪声样例，并通过无关系句子实例以及噪声样例的强增强样本和弱增强样本对关系预测模型进行训练，得到训练好的关系预测模型；利用训练好的关系预测模型对待预测的句子包进行预测，获得与其对应的关系标签。通过本发明，通过一致性文本增强，能够增加数据集规模，增强模型的泛化学习能力，让“NA”类别和噪音样例约束模型学习更多的监督信息。

技术领域

本发明涉及自然语言处理领域，尤其涉及一种基于一致性文本增强的远程监督关系抽取方法及装置。

背景技术

互联网上的海量信息，通过信息抽取的相关技术，可以提取出大量有价值的知识和信息。作为信息抽取中的一个重要环节，关系抽取(Relation Extraction，RE)旨在从文本中提取实体间的关系，为其他自然语言应用如构建知识图谱、搜索引擎、对话生成、自然问答、信息检索等提供了重要的支持。

关系抽取模型的训练需要大量的标注样本提供监督信息。然而，同一种关系类型可能有不同的文本表达，同时，不同类型的关系也可以用同一个词来描述。这种关系和文本之间的模糊性使得人工标注代价较高。

为了减少人工标注，远程监督被提出，通过将文本和知识库对齐来自动标注句子和关系之间的映射关系。它假设如果知识库中存在一个三元组(即头实体、关系、尾实体)，那么所有包含该头实体和尾实体的句子都可以表达这种关系。然而，许多噪音来自于这个假设的失败——有些句子包含相同的实体对，但表达另一个关系。其次，如果知识库中不存在实例中的三元组，将会把该实例划分到无关系(NA，NotAny)类别。“NA”类别在训练集中占比很大，为73.9％。“NA”不是一种具体的关系，而是所有未知关系的集合，所以它分布较为稀疏，多数模型难以利用这些实例自身具有的监督信息。

为了突出有效实例，减少噪音的影响，主流方法通常采用多实例学习(Multi-Instance Learning)，将所有包含同一个实体对、表达同一关系的句子视为一个包，并提出了“至少有一个(at-least-one)”假设。现有不少研究通过后验信息，或挑选包内置信度最高的实例，或引入了注意机制来为各实例分配权重，或通过强化学习、对抗生成训练过滤噪音实例。尽管这些方法能够减少噪音的影响，但也使得模型能够利用的实例信息减少了许多。或者使用软标签(soft label)方法动态地纠正远程监督方法标注的错误标签，可以增加模型能利用的实例信息，然而其并未注意到“NA”类别，利用率仍然较低。

本申请发明人发现现有技术的方法，至少存在如下技术问题：

1)占训练集约70％左右的“NA”类别通常没有被有效利用，然而部分“NA”样例是因为知识库不全而被误分到“NA”类别，它们可以通过模型的学习，为模型提供监督信息；

2)许多研究方法将训练集中的噪音样例，降低权重或者直接滤除，使得这些噪音样例含有的有效信息通常不能得到充分利用；

3)对抗生成等方法增加的扰动，尽管能够增加模型的抗干扰能力，但其通常不能提供符合实际情况的扰动，不太稳定，容易使模型训练的方向出现偏差。

发明内容

本发明的主要目的在于提供一种基于一致性文本增强的远程监督关系抽取方法及装置，旨在解决上述至少一个技术问题。

第一方面，本发明提供一种基于一致性文本增强的远程监督关系抽取方法，所述基于一致性文本增强的远程监督关系抽取方法包括：

获取多个句子实例，基于远程监督的假设，将每个句子实例对齐到知识库，确定每个句子实例对应的关系标签，将实体对和关系标签相同的句子实例划分到一个句子包，得到多个句子包；