[发明专利]一种知识图谱自动构建系统及方法

权利要求书

1.一种知识图谱自动构建系统，其特征在于，包括数据采集层、模型层以及数据存储层；

所述数据采集层，实时从互联网网站爬取非结构的文本数据，并将爬取到的文本数据逐条传递到消息队列中，分为模型训练队列和线上预测队列；

所述模型层包括预处理部分、模型训练部分和线上预测部分；

预处理部分，对所述消息队列中的文本数据进行预处理；

模型训练部分，根据模型训练队列提供的已标注数据，采用分步抽取方式，先抽取文本中的关系，后抽取文本中的实体，利用深度学习算法，分别进行关系分类模型训练和实体抽取模型训练；

线上预测部分，当读取到线上预测队列中的文本数据后，利用训练好的模型，实时抽取文本中的关系和实体，完成三元组提取；

所述存储层包括概念图谱和实例图谱；

概念图谱，经过业务专家整理并标注好数据，其中包含图谱中涉及的概念和关系；

实例图谱，存储模型层经线上预测部分，将提取出的三元组存储到数据库中。

2.根据权利要求1所述的一种知识图谱自动构建系统，其特征在于，所述深度学习算法采用Bert学习模型。

3.根据权利要求2所述的一种知识图谱自动构建系统，其特征在于，所述关系分类模型通过tensorflow框架建立Bert文本多分类模型。

4.根据权利要求2所述的一种知识图谱自动构建系统，其特征在于，所述实体抽取模型通过tensorflow框架建立Bert实体识别模型。

5.根据权利要求4所述的一种知识图谱自动构建系统，其特征在于，实体抽取时，将包含多个关系的句子复制出与关系数目相同的句子数。

6.一种知识图谱自动构建方法，采用如权利要求1-5之一所述的系统，其特征在于，包括如下步骤：

步骤一、概念图谱构建

S11、概念数据导入数据库

将概念数据格式导入到数据库中，构建相关的概念节点；

S12、关系数据导入数据库

将多个概念所对应的关系数据格式，导入到数据库中，构建概念之间的关系；

步骤二、数据采集

S21、利用数据采集系统获取最新上传的期刊文献或专利；

S22、将数据采集系统抓取到的文本数据逐条传递到消息队列中；

步骤三、数据预处理

将文本数据进行分句、分字、特殊字符处理；

步骤四、模型训练

采用分步抽取，先抽取句子中的关系，再抽取句子中的实体；

S41、关系分类模型训练

根据关系分类训练语料，通过tensorflow框架建立Bert文本多分类模型；

S42：实体抽取模型训练

根据实体抽取训练语料，通过tensorflow框架建立Bert实体识别模型；将包含多个关系的句子复制出与关系数目相同的句子数，在实体抽取时获得与该关系相关的实体；

步骤五、线上预测

采用关系分类模型和实体抽取模型分别进行关系分类和实体识别：

S51、关系分类阶段是将处理后的句子进行关系预测，识别出该句子中所蕴涵的实体之间关系；

S52、实体识别阶段是预测句子中识别出关系所对应的主体和客体两个实体，从而完成最终的三元组提取；

步骤六、三元组存储与展示

通过线上模型预测，识别出的关系和实体，然后将三元组数据保存到实例图谱数据库中。