[发明专利]数据关系识别方法、装置、电子设备及存储介质

说明书

本发明涉及数据分析领域，揭露了一种数据关系识别方法，包括：从至少一个业务系统中获取元数据，对元数据进行差异性分析，得到元数据的差异性分析报告；根据差异性分析报告，对所述元数据进行层级拆分，并将层级拆分后的元数据中具有相同数据类型的元数据进行聚类，生成多个聚类元数据；对每个聚类元数据进行数据质量校验，得到数据质量校验报告；根据数据质量校验报告，构建每个聚类元数据的数据表，并识别数据表中任意两个元数据之间的关系，得到关系识别结果。另外，本发明还提供一种数据关系识别装置、电子设备以及计算机可读存储介质。此外，本发明还涉及区块链技术，所述聚类元数据可存储于区块链中。本发明可以提高数据关系识别的准确性。

技术领域

本发明涉及数据分析领域，尤其涉及一种数据关系识别方法、装置、电子设备及计算机可读存储介质。

背景技术

随着信息技术的发展，信息数据呈现爆炸性增长，从而延伸出大量的数据建模、数据加载、数据标准、质量检测等数据处理流程，在数据处理流程中，从数据源头到最终的数据生成，每个环节都可能会导致出现数据质量的问题，因此数据关系识别显得尤为重要，通过数据之间的关系识别，可以实现最终的数据生成的可追溯，从而可以保障在最终生成的数据质量。

现有技术中，通常采用静态分析法实现数据关系的识别，即通过对元数据的编译环境中源代码进行扫描和语法识别，以及对元数据涉及的路径进行静态识别和罗列，实现元数据的关系识别，但是由于在实际业务场景中，元数据会存在实时变化的情况，如在第一时间端元数据为A、在第二时间段元数据变为B，这样容易影响数据关系识别的准确性。

发明内容

本发明提供一种数据关系识别方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高数据关系识别的准确率。

为实现上述目的，本发明提供的一种数据关系识别方法，包括：

从至少一个业务系统中获取元数据，对所述元数据进行差异性分析，得到所述元数据的差异性分析报告；

根据所述差异性分析报告，对所述元数据进行层级拆分，并将层级拆分后的元数据中具有相同数据类型的元数据进行聚类，生成多个聚类元数据；

对每个所述聚类元数据进行数据质量校验，得到数据质量校验报告；

根据所述数据质量校验报告，构建每个所述聚类元数据的数据表，并识别所述数据表中任意两个元数据之间的关系，得到关系识别结果。

可选地，所述对所述元数据进行差异分析，得到所述元数据的差异性分析报告，包括：

获取所述元数据的数据类型，查询所述数据类型对应的历史数据；

将所述元数据与所述历史数据进行差异对比，得到差异对比结果；

根据所述差异对比结果，生成所述元数据的差异性分析报告。

可选地，所述根据所述差异性分析报告，对所述元数据进行层级拆分，包括：

根据所述差异性分析报告，识别所述元数据中的历史元数据和增量元数据；

查询所述历史元数据的历史节点关系，根据所述历史节点关系，执行所述历史元数据的层级拆分；

配置所述增量元数据的实时节点关系，根据所述实时节点关系，执行所述增量元数据的层级拆分。

可选地，所述配置所述增量元数据的实时节点关系，包括：

获取所述增量元数据的数据标识字段，根据所述数据标识字段，定义所述增量元数据的节点层级位置；

根据所述节点层级位置，生成所述增量元数据的实时节点关系。

可选地，所述将层级拆分后的元数据中具有相同数据类型的元数据进行聚类，包括：