[发明专利]基于义原编码的层次级远程监督关系抽取方法

说明书

本发明公开了一种基于义原编码的层次级远程监督关系抽取方法，包括如下步骤：步骤1：将训练数据集中的所有句子，将包含相同实体对的句子分配到同一包中；步骤2：词向量编码；步骤3：位置向量编码；步骤4：PCNN特征提取；步骤5：层次级关系注意力机制；步骤6：构建超包级别训练实例；步骤7：训练调优，最终得到关系抽取模型。本发明利用关系之间的联系来丰富训练数据，通过顶层关系的粗粒度特征弥补训练数据不足的长尾部分，再从关系层次上构建超包，降低学到错误关系特征的影响并近似忽略整个句子包都是错误实例的可能，有效减少对数据的依赖，降低数据质量对最终结果的波动影响，从而提高关系抽取的准确率。

技术领域

本发明属于自然语言处理和人工智能技术，具体的说是一种基于义原编码的缓解长尾关系问题的知识图谱关系抽取方法。

背景技术

知识图谱(Knowledge Graph)由Google于2012年首次提出，通过结构化形式将客观世界中的概念、实体结合在一起，将互联网中存在的海量数据信息进行有效的组织、管理并理解，使之更接近人类的认知世界。

实体关系抽取是知识图谱生成过程中的重要环节，致力于挖掘出文本中实体对之间的语义关系，也是自然语言处理、信息检索等领域的关键任务。传统的基于深度学习技术的有监督关系抽取，需要大量人工标注好的训练数据集，前期工作量较大。为了从繁重的样本标注工作中解放出来，远程监督关系抽取应运而生：通过知识库和自然语言文本的自动对齐生成标记数据。但这种简单的自动对齐机制也带来了一系列的噪声影响，

Daojian Zeng、Kang Liu、Yubo Chen和Jun Zhao发表了Distant Supervisionfor Relation Extraction via Piecewise Convolutional Neural Networks，Zeng等人提出了多实例学习的假设，认为句子包中至少有一个实例是正确的，并使用分段卷积神经网络提取文本特征。

Y Lin，S Shen，Z Liu，H Luan和M Sun发表了Neural Relation Extraction withSelective Attention over Instances，Lin等人提出了基于句子级注意力机制的关系抽取模型，通过给每个句子分配权重以动态降低错误样本的影响。

He D、Zhang H、Hao W、Zhang R、Chen G、Jin D和Cheng K.发表了Distantsupervised relation extraction via long short term memory networks with sentence embedding.Intelligent Data Analysis，He等人提出利用SE-LSTM提取实体对方向信息，结合多实例学习解决错误传播问题，释放了对NLP工具包的依赖。

然而这些方法都依赖数据驱动，在语料库性能不够稳定的情况下，对下游任务具有一定影响；同时，目前的工作大部分局限于孤立的处理每种关系，忽略了关系之间的联系，而这种联系的挖掘有助于发现潜在的关系特征，进一步丰富训练数据少的样本。

发明内容

远程监督关系抽取的最大优势是将知识库自动对齐自然语言文本，生成标记数据，在省去大量人力成本的同时但也不可避免的会带来噪声数据影响。目前的研究集中于使用神经网络自动提取特征，但该方法局限于数据驱动，语料库的好坏对最终结果会产生较大波动，为了解决现有技术中的缺陷，本发明利用HowNet人工知识库作为先验知识，降低对低频词的词向量生成效果较差的影响。针对语料库普遍存在的长尾问题，句子实例相对较少的句子包训练不充分，研究通过利用关系之间的联系来丰富训练数据，从基本关系得到细粒度特征，顶层抽象关系捕获多个相关子关系共享的公共特征，从而提供粗粒度特征，通过利用关系之间的联系来丰富训练数据不足的长尾部分；同时，为降低学到错误关系特征影响，考虑从关系层次上构建超包，将超包设置为训练实例，进而从更高层次上减少错误标签噪声的影响，以提高关系抽取的准确率。