[发明专利]数据湖的知识图谱生成方法及装置

说明书

本发明公开了一种数据湖的知识图谱生成方法及装置，涉及大数据技术领域；其中该方法包括：获取数据湖中的多源异构数据，将所述多源异构数据作为主数据存储至对应结构的数据库中；主数据包括：结构化主数据、半结构化主数据、以及非结构化主数据；查询获取结构化主数据的数据表结构，根据所述数据表结构得到结构化主数据的元数据；根据半结构化主数据的格式对半结构化主数据进行解析，从解析结果中提取半结构化主数据的元数据；调用各非结构化主数据对应的算子提取非结构化主数据的元数据；利用知识图谱将各元数据进行融合关联，得到数据湖对应的知识图谱网络。本发明可以将数据湖中的数据进行有效关联，避免出现数据沼泽。

技术领域

本发明涉及大数据技术领域，尤其涉及数据湖的知识图谱生成方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

对于数据湖而言，由于其可以获取全业务流程的所有相关领域的结构化数据、以及文本、图像、语音、视频等非结构且多元异构的数据。基于数据湖收集和存储的数据形式和类型繁多，因此可以突破在现有大型数据仓库上进行“自上向下”需要业务专家来指定规则模型和逻辑的设计模式，助力数据科学家以及业务专家实现“自底向上”的数据分析，从而进行更广且更深的角度和范围来进行业务的开发和开展。在数据湖中可以将不同业务范围的数据关联起来进行一项数据分析任务，但是如果进入到数据湖的数据缺乏一定的数据治理，会导致数据之间无法进行有效的关联，甚至存在缺陷，进而会导致出现使用障碍，产生数据使用减少的情况，这进一步就又会引发存在的数据缺陷无法很好的暴露和反映，也即出现“数据沼泽”的困境。有效应对“数据沼泽”出现，需要对数据湖进行有效的数据治理。

发明内容

本发明实施例提供一种数据湖的知识图谱生成方法，用以实现对数据湖中数据的有效治理，避免出现数据沼泽，该方法包括：

获取数据湖中的多源异构数据，将所述多源异构数据作为主数据存储至对应结构的数据库中；其中，所述主数据包括：结构化主数据、半结构化主数据、以及非结构化主数据；

查询获取结构化主数据的数据表结构，根据所述数据表结构得到结构化主数据的元数据；

根据半结构化主数据的格式对半结构化主数据进行解析，从解析结果中提取半结构化主数据的元数据；

调用各非结构化主数据对应的算子提取非结构化主数据的元数据；

利用知识图谱将各元数据进行融合关联，得到数据湖对应的知识图谱网络。

本发明实施例还提供一种数据湖的知识图谱生成装置，用以实现对数据湖中数据的有效治理，避免出现数据沼泽，该装置包括：

获取模块，用于获取数据湖中的多源异构数据，将所述多源异构数据作为主数据存储至对应结构的数据库中；其中，所述主数据包括：结构化主数据、半结构化主数据、以及非结构化主数据；

第一元数据提取模块，用于查询获取结构化主数据的数据表结构，根据所述数据表结构得到结构化主数据的元数据；

第二元数据提取模块，用于根据半结构化主数据的格式对半结构化主数据进行解析，从解析结果中提取半结构化主数据的元数据；

第三元数据提取模块，用于调用各非结构化主数据对应的算子提取非结构化主数据的元数据；

处理模块，用于利用知识图谱将各元数据进行融合关联，得到数据湖对应的知识图谱网络。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据湖的知识图谱生成方法。