[发明专利]一种知识图谱自动构建系统及方法

说明书

本发明提供一种知识图谱自动构建系统及方法，为了弥补目前只基于结构化数据和非结构化数据构建知识图谱的缺陷，技术方案包括采用Bert学习模型进行关系分类和实体抽取，有效地从非结构文本中提取知识三元组；通过改进Bert的输入形式，采用分步抽取方式，实体识别过程中通过给句子填充关系信息，从而提高了实体的识别效果，可以从文本中识别多个三元组关系，避免了信息交错而导致实体关系对应错误；实现7×24小时的实时知识图谱构建，能够实时抓取互联网数据，实时提取文本中的三元组，并存储到数据库中，这样能够快速获取最新文本中的最新知识，提高知识时效性，让科研人员第一时间获得文本中蕴涵的知识，从而提高工作效率。

技术领域

本发明涉及人工智能技术领域，具体涉及一种知识图谱自动构建系统及方法。

背景技术

目前国内外很多互联网公司都构建自己的知识图谱，在基于知识图谱的基础上推出搜索、问答、推荐等来改善服务质量。知识图谱的构建需要知识数据，目前知识的获取主要从结构化、半结构化数据、非结构化数据中获取。结构化、半结构数据数据格式清晰，数据比较规范，经过简单的处理即可得到相应的知识。而非结构数据比较杂乱、知识通常隐藏在语义中，知识获取比较难。然而，数据量庞大的非结构化数据中往往蕴含丰富的知识，因此，从非结构化数据中获取知识能够极大的丰富整个知识体系，从而更好的服务于下游的各种应用。对于非结构文本的关系和实体抽取，通常的做法为输入文本，一次性的输出文本中的关系和实体，若是句子中只存在一个实体关系三元组，该方法尚且可以，但是如果文本中存在多组关系实体对，则容易产生关系和实体对应错误，这样大大影响了识别效果。现在的互联网数据更新频繁，信息量不断的增加，然而现有技术并没有高效地实时提取互联网上非结构化文本中的知识，提升用户使用体验。

发明内容

为了解决上述技术问题，本发明提供了一种知识图谱自动构建系统及方法，采用如下技术方案：

作为本发明的一个方面，本发明提供了一种知识图谱自动构建系统，包括数据采集层、模型层以及数据存储层；

所述数据采集层，实时从互联网网站爬取非结构的文本数据，并将爬取到的文本数据逐条传递到消息队列中，分为模型训练队列和线上预测队列；

所述模型层包括预处理部分、模型训练部分和线上预测部分；

预处理部分，对所述消息队列中的文本数据进行预处理；

模型训练部分，根据模型训练队列提供的已标注数据，采用分步抽取方式，先抽取文本中的关系，后抽取文本中的实体，利用深度学习算法，分别进行关系分类模型训练和实体抽取模型训练；

线上预测部分，当读取到线上预测队列中的文本数据后，利用训练好的模型，实时抽取文本中的关系和实体，完成三元组提取；

所述存储层包括概念图谱和实例图谱；

概念图谱，经过业务专家整理并标注好数据，其中包含图谱中涉及的概念和关系；

实例图谱，存储模型层经线上预测部分，将提取出的三元组存储到数据库中。

作为优选，所述深度学习算法采用Bert学习模型。

作为优选，所述关系分类模型通过tensorflow框架建立Bert文本多分类模型。

作为优选，所述实体抽取模型通过tensorflow框架建立Bert实体识别模型。

作为优选，实体抽取时，将包含多个关系的句子复制出与关系数目相同的句子数。

作为本发明的另一个方面，本发明提供了一种知识图谱自动构建方法，采用前述的系统，包括如下步骤：

步骤一、概念图谱构建

S11、概念数据导入数据库