[发明专利]一种全生命周期数据地图生成系统、方法

说明书

本申请公开一种全生命周期数据地图生成系统，由多源异构数据接入任务获取数据源的数据，由数据转换任务、数据治理任务和多样化数据处理脚本任务分别确定第一血缘关系、第二血缘关系和第三血缘关系，由数据源表多维统计任务确定第一数据和第二数据在指定分析维度下的信息；由数据地图生成模块根据该些血缘关系和所述指定分析维度下的信息生成数据地图并展示，从而解决了现有技术中的数据地图生成与展示方式，无法生成并展示不同分析维度下的信息和多源数据之间的血缘关系的问题，有效丰富数据地图的信息展示分析维度，提升数据地图信息的分析结果的适用宽度。本申请还公开一种全生命周期数据地图生成方法。

技术领域

本申请涉及数据处理技术领域，特别涉及一种全生命周期数据地图生成系统、方法。

背景技术

随着数据类目增多，数据量快速增加，数据地图作为一种可视化、界面化展现数据资产状况、分布、血缘关系的方法，可以帮助相关人员快速了解数据资产的分布情况，追溯数据的源头，预判数据的影响分析。

现有技术中，构建数据地图时，通常根据数据间的血缘关系的相关度进行数据地图展示，该方法仅能体现出数据在血缘关系层面的相关度，进而表达同源数据间的二维关系，但从实际研发生产需求出发，往往需要利用构建数据地图的方法从不同分析维度对多源数据的血缘关系进行展示，丰富数据地图的信息展示分析维度，提升数据地图信息的分析结果的适用宽度。

发明内容

本申请实施例提供一种全生命周期数据地图生成系统，用以解决现有技术中的数据地图生成与展示方式，无法生成并展示不同分析维度和多源数据之间的血缘关系的问题。

本申请实施例采用下述技术方案：

第一方面，提供了一种全生命周期数据地图生成系统，包括：数据源管理模块、任务配置管理模块、调度任务管理模块和数据地图生成模块，包括：

数据源管理模块，用于保存来源于数据源的待进行血缘关系分析的第一数据；

任务配置管理模块，用于配置多源异构数据接入任务、数据转换任务、数据治理任务和多样化数据处理脚本任务；

其中，所述多源异构数据接入任务，用于根据输入的所述第一数据的标识，获取来源于相应数据源的第一数据保存至所述数据源管理模块，以及，确定所述第一数据和对应的存储至目标源的第二数据之间的第一血缘关系；

所述数据转换任务，用于将所述第一数据进行转换，以得到转换后的数据，以及，确定所述第一数据和所述转换后的数据之间的第二血缘关系；

所述数据治理任务，用于对所述转换后的数据进行稽核，以得到稽核后的数据作为所述第二数据存储至目标源；

所述多样化数据处理脚本任务，用于根据所述指定分析维度，确定所述第一数据和所述第二数据之间的第三血缘关系；

调度任务管理模块，用于调度并执行目标任务；所述目标任务包括：多源异构数据接入任务、数据转换任务、数据治理任务、多样化数据处理脚本任务和数据源表多维统计任务，以获得第一血缘关系、所述第二血缘关系、所述第三血缘关系和所述第一数据和所述第二数据在所述指定分析维度下的信息；所述数据源表多维统计任务，用于分析所述第一数据和所述第二数据在所述指定分析维度下的信息；

数据地图生成模块，用于根据执行所述目标任务获得的第一血缘关系、所述第二血缘关系、所述第三血缘关系以及所述指定分析维度下的信息，生成数据地图并展示。

第二方面，提供了一种全生命周期数据地图生成方法，包括：

保存来源于数据源的待进行血缘关系分析的第一数据；

配置多源异构数据接入任务、数据转换任务、数据治理任务和多样化数据处理脚本任务；