[发明专利]一种垂直领域知识图谱构建方法及系统

说明书

本发明提供一种垂直领域知识图谱构建方法及系统，该方法包括：将产品文档输入到训练好的知识抽取模型中，训练好的知识抽取模型包括表格标注模型和文本知识抽取模型；通过表格标注模型对产品文档中的半结构化数据进行表格标注处理，得到产品文档的三元组，表格标注模型是通过序列标注后的半结构化样本数据，对神经网络进行训练得到的；通过文本知识抽取模型对产品文档中的非结构化数据进行知识抽取处理，得到产品文档的三元组，文本知识抽取模型是通过纯文本标注后的非结构化样本数据，对改进的语言模型进行训练得到的；根据三元组，构建产品文档的知识图谱。本发明提高了垂直领域知识图谱构建方法的专业性、准确性和高效性。

技术领域

本发明涉及计算机技术技术领域，尤其涉及一种垂直领域知识图谱构建方法及系统。

背景技术

随着人工智能的发展，智能的信息服务持续升级，在各种智能信息服务领域均能看到知识图谱的应用，如智能问答、个性化推送和信息检索等。知识图谱帮助计算机学习人的语言交流方式，使计算机像人类一样“思考”，使得各种信息服务反馈给用户更加智能的答案。可以说知识图谱是传统行业和人工智能进行融合的方向，也是人工智能从研究走向落地应用的过程中必不可少的环节。

垂直领域知识图谱是针对某个行业，根据该领域的数据来构建的知识图谱，相比于通用知识图谱，更强调知识的深度。虽然在通用领域，学术界和工业界都已经有大规模的标注数据可供知识图谱构建模型进行训练，并且实体和关系抽取技术已经取得了长足进步。但在垂直领域的场景下，存在着标注语料数据量不足，人工标注耗费人工成本和精力等难题，并且随着业务的变更，实体和关系的类型会不断地更新，已有的标注数据无法应用在新的实体和关系类型上，这些难题使得在垂直领域构建知识图谱变得非常困难。因此，为了解决垂直领域知识图谱构建困难和低效的问题，现在亟需一种垂直领域知识图谱构建方法及系统来解决上述问题。

发明内容

针对现有技术存在的问题，本发明提供一种垂直领域知识图谱构建方法及系统。

本发明提供一种垂直领域知识图谱构建方法，包括：

将产品文档输入到训练好的知识抽取模型中，所述训练好的知识抽取模型包括表格标注模型和文本知识抽取模型；

若所述产品文档存在半结构化数据，则通过所述表格标注模型对所述产品文档中的半结构化数据进行表格标注处理，得到所述产品文档的三元组，所述表格标注模型是通过序列标注后的半结构化样本数据，对神经网络进行训练得到的；

若所述产品文档存在非结构化数据，则通过所述文本知识抽取模型对所述产品文档中的非结构化数据进行知识抽取处理，得到所述产品文档的三元组，所述文本知识抽取模型是通过纯文本标注后的非结构化样本数据，对改进的语言模型进行训练得到的；

根据所述三元组，构建所述产品文档的知识图谱。

根据本发明提供的一种垂直领域知识图谱构建方法，所述训练好的知识抽取模型通过以下步骤训练得到：

获取样本产品文档，所述样本产品文档包括半结构化样本数据和非结构化样本数据；

对所述半结构化样本数据进行序列标注，并基于文本增强技术和实例交叉增强技术，对序列标注后的半结构化样本数据进行增强处理，构建得到第一训练数据集；

对所述非结构化样本数据进行纯文本标注，并基于文本增强技术和实例交叉增强技术，对纯文本标注后的非结构化样本数据进行增强处理，获取第二训练数据集；

将所述第一训练数据集输入到神经网络中进行训练，得到表格标注模型；

将所述第二训练数据集输入到改进的语言模型中进行训练，得到文本知识抽取模型，所述改进的语言模型是基于概率图模型和BERT模型构建得到的；

根据所述表格标注模型和所述文本知识抽取模型，获取训练好的知识抽取模型。