[发明专利]一种内容知识图谱的构建方法及系统

说明书

本发明公开了一种内容知识图谱的构建方法及系统：先获取大规模原始数据；再对数据资源进行中文分词和规则处理，构建大规模文章训练模型和词向量训练模型；然后基于上述模型，构建出核心词的长尾词实体字典与相似度，作为核心词的知识图谱第二层实体与实体级关系库；接着基于上述模型，将分词后形成的全部实体与第二层实体之间进行关系计算与匹配，并形成知识图谱第三层实体与实体级关系库，同理形成第四层、第五层至第N层实体与实体级关系库；基于核心词与各层实体及实体关系，设定阈值，使用neo4j生成核心词领域的内容知识图谱组。本发明具有高效性，人工标注和计算成本低，便于快速复制与实现，更契合使用者在文本内容写作上的需求。

技术领域

本发明涉及知识图谱技术领域，具体为一种内容知识图谱的构建方法及系统。

背景技术

随着科学技术快速发展，人们期望机器可以去理解海量的网络文本内容，更快、准确、智能的获取到自己需要的信息，为了满足这种需求，智能化的知识图谱应运而生。知识图谱技术是人工智能技术的重要组成部分，是一种更加结构化的知识库，将散乱的知识有效组织，以直观的结构图谱形式描述客观世界中的概念、实体及其之间的关系。

最常见的通用知识图谱基本组成单位是“实体1-关系R-实体2”三元组，以及实体及其相关属性值，实体间通过关系相互联结，构成网状的知识结构。构建方式主要为：提取实体，并根据实体间的从属关系等构建知识图谱三元组。现有知识图谱的构建方式需要人工限定属性，但在做文章内容的生产情景下，往往无法体现文章内容中真正有价值的属性关系。

基于此，本发明设计了一种内容知识图谱的构建方法及系统，以解决上述问题。

发明内容

本发明的目的在于提供一种内容知识图谱的构建方法及系统，以海量文章内容库为基础构建训练模型，采用文章内容中真实存在的实体词与所述关键词之间的关联度生成知识图谱，知识图谱对知识快速建立和内容快速检索反馈，达到了尽可能多地显示可能需要的内容信息的目的，从而实现了搜索需要的内容信息时，缩短时长，提高搜索效率的技术效果，进而解决了在相关技术中，对需要的内容信息进行搜索时，存在人工标注成本高、时间长，效率低的技术问题。

为实现上述目的，本发明提供如下技术方案：一种内容知识图谱的构建方法及系统，该方法包括：

第一步：以核心词作为检索词进行互联网检索，进行大规模文章数据采集和数据存储，并进行各文章文本内容的提取，还可以通过API接口进行文本数据的采集，也可通过本地文件上传方式，获取大规模原始数据；

第二步：对全部数据资源进行中文分词和规则处理，构建大规模文章训练模型和词向量训练模型；

第三步：基于文章和词向量训练模型，利用相似度算法和规则模型计算构建出核心词的长尾词实体字典与相似度，作为核心词的知识图谱第二层实体与实体级关系库；

第四步：利用分词算法和规则判断建立全部实体字典，基于文章和词向量训练模型，用相似度算法将字典中实体与第二层实体之间进行关系计算与匹配，并形成知识图谱第三层实体与实体级关系库；

第五步：重复第四步，可自动形成知识图谱的第四层、第五层至第N层实体与实体级关系库；

第六步：基于核心词与各层实体及实体关系，设定阈值，使用neo4j将核心词与各层实体及实体关系存入第二类数据模块，生成核心词领域的内容知识图谱组。