[发明专利]基于异构分布式知识图谱的大数据处理方法、设备及介质

说明书

本发明实施例公开了一种基于异构分布式知识图谱的大数据处理方法、设备及介质。方法包括：根据异构分布式知识库的数据结构，构造异构分布式知识图谱的节点表和关系表；根据图谱计算请求，确定图谱计算场景，确定图谱计算场景所需的节点的类型和/或属性，以及边的类型和/或属性；从节点表和关系表中，提取与图谱计算场景对应的至少一个计算节点；从异构分布式知识图谱中过滤出与至少一个计算节点对应的节点数据；对过滤出的节点数据进行数据处理，得到基于异构分布式知识图谱的数据处理结果。本实施例基于节点表和关系表提供了一种高效地针对异构分布式知识图谱的数据处理方法。

技术领域

本发明实施例涉及知识图谱技术，尤其涉及一种基于异构分布式知识图谱的大数据处理方法、设备及介质。

背景技术

知识图谱(Knowledge Graph)又称为科学知识图谱，在图书情报界称为知识域可视化或知识领域映射地图。知识图谱的生命周期由以下几个部分组成：数据ETL(Extract-Transform-Load)、知识抽取、定义图谱、数据导入、知识推理、知识应用。

知识图谱一般分为异构知识图谱和同构知识图谱，同构知识图谱中的节点和边分别拥有同样的类型，即不作类型区分，而异构知识图谱中的节点和边可以拥有不同的类型，甚至拥有不同的属性。目前，异构知识图谱一般采用三元组、五元组、七元组等形式来描述，例如，通过“概念，关系，规则”来表示由“点-边”组成的大规模有向知识图谱。通过多元组形式描述知识图谱能够清晰表示概念与概念之间的关系、概念与实体的关系、实体与实体之间的关系、实体与属性的关系、属性与属性值的关系等等。

虽然多元组形式带来诸多好处，但在对异构分布式知识图谱进行计算时，多元组形式不够简练，且包含了大量的冗余信息，不利于过滤感兴趣的节点数据，导致大大增加计算的复杂度。

发明内容

本发明实施例提供一种基于异构分布式知识图谱的大数据处理方法、装置、设备及介质，以提供一种有效的针对异构分布式知识图谱的数据处理方案。

第一方面，本发明实施例提供了一种基于异构分布式知识图谱的大数据处理方法，包括：

根据异构分布式知识库的数据结构，构造异构分布式知识图谱的节点表和关系表；

根据图谱计算请求，确定图谱计算场景，确定图谱计算场景所需的节点的类型和/或属性，以及边的类型和/或属性；

根据图谱计算场景所需的节点的类型和/或属性，以及边的类型和/或属性，从节点表和关系表中，提取与图谱计算场景对应的至少一个计算节点；

从异构分布式知识图谱中过滤出与至少一个计算节点对应的节点数据；

对过滤出的节点数据进行数据处理，得到基于异构分布式知识图谱的数据处理结果；

其中，节点表包括：各节点的标识、各节点的类型、各节点的属性、节点的类型集合和属性集合，关系表包括：各边的起始节点标识、各边的目标节点标识、各边的类型、各边的属性、边的类型集合和属性集合。

第二方面，本发明实施例还提供了一种基于异构分布式知识图谱的大数据处理装置，包括：

构建模块，用于根据异构分布式知识库的数据结构，构造异构分布式知识图谱的节点表和关系表；

确定模块，用于根据图谱计算请求，确定图谱计算场景，确定图谱计算场景所需的节点的类型和/或属性，以及边的类型和/或属性；

计算节点获取模块，用于根据图谱计算场景所需的节点的类型和/或属性，以及边的类型和/或属性，从节点表和关系表中，提取与图谱计算场景对应的至少一个计算节点；过滤模块，用于从异构分布式知识图谱中过滤出与至少一个计算节点对应的节点数据；

计算模块，用于对过滤出的节点数据进行数据处理，得到基于异构分布式知识图谱的数据处理结果；