[发明专利]数据关系识别方法、装置、电子设备及存储介质在审
申请号: | 202110702568.8 | 申请日: | 2021-06-24 |
公开(公告)号: | CN113434542A | 公开(公告)日: | 2021-09-24 |
发明(设计)人: | 谢峥 | 申请(专利权)人: | 平安国际智慧城市科技股份有限公司 |
主分类号: | G06F16/2453 | 分类号: | G06F16/2453;G06F16/2455;G06F16/28 |
代理公司: | 深圳市沃德知识产权代理事务所(普通合伙) 44347 | 代理人: | 高杰;于志光 |
地址: | 518000 广东省深圳市前海深港合*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 关系 识别 方法 装置 电子设备 存储 介质 | ||
1.一种数据关系识别方法,其特征在于,所述方法包括:
从至少一个业务系统中获取元数据,对所述元数据进行差异性分析,得到所述元数据的差异性分析报告;
根据所述差异性分析报告,对所述元数据进行层级拆分,并将层级拆分后的元数据中具有相同数据类型的元数据进行聚类,生成多个聚类元数据;
对每个所述聚类元数据进行数据质量校验,得到数据质量校验报告;
根据所述数据质量校验报告,构建每个所述聚类元数据的数据表,并识别所述数据表中任意两个元数据之间的关系,得到关系识别结果。
2.如权利要求1所述的数据关系识别方法,其特征在于,所述对所述元数据进行差异分析,得到所述元数据的差异性分析报告,包括:
获取所述元数据的数据类型,查询所述数据类型对应的历史数据;
将所述元数据与所述历史数据进行差异对比,得到差异对比结果;
根据所述差异对比结果,生成所述元数据的差异性分析报告。
3.如权利要求1所述的数据关系识别方法,其特征在于,所述根据所述差异性分析报告,对所述元数据进行层级拆分,包括:
根据所述差异性分析报告,识别所述元数据中的历史元数据和增量元数据;
查询所述历史元数据的历史节点关系,根据所述历史节点关系,执行所述历史元数据的层级拆分;
配置所述增量元数据的实时节点关系,根据所述实时节点关系,执行所述增量元数据的层级拆分。
4.如权利要求3所述的数据关系识别方法,其特征在于,所述配置所述增量元数据的实时节点关系,包括:
获取所述增量元数据的数据标识字段,根据所述数据标识字段,定义所述增量元数据的节点层级位置;
根据所述节点层级位置,生成所述增量元数据的实时节点关系。
5.如权利要求1所述的数据关系识别方法,其特征在于,所述将层级拆分后的元数据中具有相同数据类型的元数据进行聚类,包括:
利用下述公式将层级拆分后的元数据中具有相同数据类型的元数据进行聚类:
其中,E表示聚类元数据的聚类中心点,K表示聚类中心点的数量,c表示层级拆分后的元数据的数量,xt表示第t个层级拆分后的元数据,μi表示第i个聚类中心点的簇心质量。
6.如权利要求1至5中任意一项所述的数据关系识别方法,其特征在于,所述对每个所述聚类元数据进行数据质量校验,得到数据质量校验报告,包括:
利用预设的数据约束条件对每个所述聚类元数据中所有元数据进行合法校验,得到数据校验结果;
利用预设的字段约束条件对每个所述聚类元数据中所有元数据的数据字段进行留存校验,得到字段校验结果;
根据所述数据校验结果和字段校验结果,生成每个所述聚类元数据的数据质量校验报告。
7.如权利要求1所述的数据关系识别方法,其特征在于,所述根据所述数据质量校验报告,构建每个所述聚类元数据的数据表,包括:
根据所述数据质量校验报告,识别每个所述聚类元数据中非法元数据及非法标识字段;
对所述非法元数据及非法标识字段进行过滤,得到目标聚类元数据;
采用键值对的形式构建所述目标聚类元数据的数据表。
8.一种数据关系识别装置,其特征在于,所述装置包括:
数据差异性分析模块,用于从至少一个业务系统中获取元数据,对所述元数据进行差异性分析,得到所述元数据的差异性分析报告;
数据层级拆分模块,用于根据所述差异性分析报告,对所述元数据进行层级拆分,并将层级拆分后的元数据中具有相同数据类型的元数据进行聚类,生成多个聚类元数据;
数据质量校验模块,用于对每个所述聚类元数据进行数据质量校验,得到数据质量校验报告;
数据关系识别模块,用于根据所述数据质量校验报告,构建每个所述聚类元数据的数据表,并识别所述数据表中任意两个元数据之间的关系,得到关系识别结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安国际智慧城市科技股份有限公司,未经平安国际智慧城市科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110702568.8/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置