[发明专利]数据湖的知识图谱生成方法及装置

权利要求书

1.一种数据湖的知识图谱生成方法，其特征在于，包括：

获取数据湖中的多源异构数据，将所述多源异构数据作为主数据存储至对应结构的数据库中；其中，所述主数据包括：结构化主数据、半结构化主数据、以及非结构化主数据；

查询获取结构化主数据的数据表结构，根据所述数据表结构得到结构化主数据的元数据；

根据半结构化主数据的格式对半结构化主数据进行解析，从解析结果中提取半结构化主数据的元数据；

调用各非结构化主数据对应的算子提取非结构化主数据的元数据；

利用知识图谱将各元数据进行融合关联，得到数据湖对应的知识图谱网络。

2.如权利要求1所述的数据湖的知识图谱生成方法，其特征在于，非结构化主数据包括：文本主数据、图像票据主数据；

调用各非结构化主数据对应的算子提取非结构化主数据的元数据，包括：

调用单文档无监督关键词抽取YAKE算子提取文本主数据的元数据；

调用光学字符识别OCR算子提取图像票据主数据的元数据。

3.如权利要求2所述的数据湖的知识图谱生成方法，其特征在于，调用YAKE算子提取文本主数据的元数据，包括：

调用YAKE算子对文本主数据进行如下操作：

根据标点符号对文本主数据进行拆分得到多个拆分部分；

对每个拆分部分的词进行特征提取；

根据每个词在各拆分部分中的位置和出现频率，得到每一拆分部分对应的词的各特征的权重值；

根据每一拆分部分对应的词的各特征的权重值、以及预设权重阈值，确定每一拆分部分对应的词的最终特征；

根据每一拆分部分对应的词的最终特征，采用n-gram模型对每一拆分部分进行概率计算；

采用levenshtein函数计算各拆分部分之间的相似度，根据各拆分部分之间的相似度，删除重复的拆分部分；

根据剩余的每一拆分部分的概率计算结果、以及预设概率阈值，提取出文本主数据的元数据。

4.如权利要求2所述的数据湖的知识图谱生成方法，其特征在于，调用OCR算子提取图像票据主数据的元数据，包括：

调用OCR算子对图像票据主数据执行下述操作：

对图像票据主数据进行文本框检测；

对检测出的文本框进行文本矫正；

采用投影直方图对矫正后的文本框进行分割得到单行文本图像；

从单行文本图像中提取出单行文本；

从提取的单行文本中提取图像票据主数据的元数据。

5.如权利要求1所述的数据湖的知识图谱生成方法，其特征在于，利用知识图谱将各元数据进行融合关联，得到数据湖对应的知识图谱网络，包括：

将各元数据加载到同一知识图谱中；

根据各元数据的属性之间的关联关系，将各元数据、以及元数据之间的关系构造成知识图谱的资源描述框架RDF型数据结构，得到多个独立知识图谱；

根据各独立知识图谱的网状结构，采用GLUE算法将各独立知识图谱进行融合，得到数据湖对应的知识图谱网络。

6.如权利要求5所述的数据湖的知识图谱生成方法，其特征在于，独立知识图谱中的元数据包括本体层；

根据各独立知识图谱的网状结构，采用GLUE算法将各独立知识图谱进行融合，得到数据湖对应的知识图谱网络，包括：

将独立知识图谱的本体层的RDF数据输入到图神经网络GNN，得到各独立知识图谱的本体层之间的联合概率分布；

根据各独立知识图谱的本体层之间的联合概率分布，计算各独立知识图谱之间的本体层相似度；

将本体层相似度大于预设相似度阈值的独立知识图谱进行融合，得到数据湖对应的知识图谱网络。