[发明专利]一种全生命周期数据地图生成系统、方法

权利要求书

1.一种全生命周期数据地图生成系统，其特征在于，包括数据源管理模块、任务配置管理模块、调度任务管理模块和数据地图生成模块，其中：

数据源管理模块，用于保存来源于数据源的待进行血缘关系分析的第一数据；

任务配置管理模块，用于配置多源异构数据接入任务、数据转换任务、数据治理任务和多样化数据处理脚本任务；

其中，所述多源异构数据接入任务，用于根据输入的所述第一数据的标识，获取来源于相应数据源的第一数据保存至所述数据源管理模块，以及，确定所述第一数据和对应的存储至目标源的第二数据之间的第一血缘关系；

所述数据转换任务，用于将所述第一数据进行转换，以得到转换后的数据，以及，确定所述第一数据和所述转换后的数据之间的第二血缘关系；

所述数据治理任务，用于对所述转换后的数据进行稽核，以得到稽核后的数据作为所述第二数据存储至目标源；

所述多样化数据处理脚本任务，用于根据指定分析维度，确定所述第一数据和所述第二数据之间的第三血缘关系；

调度任务管理模块，用于调度并执行目标任务；所述目标任务包括：多源异构数据接入任务、数据转换任务、数据治理任务、多样化数据处理脚本任务和数据源表多维统计任务，以获得第一血缘关系、所述第二血缘关系、所述第三血缘关系和所述第一数据和所述第二数据在所述指定分析维度下的信息；所述数据源表多维统计任务，用于分析所述第一数据和所述第二数据在所述指定分析维度下的信息；

数据地图生成模块，用于根据执行所述目标任务获得的第一血缘关系、所述第二血缘关系、所述第三血缘关系以及所述指定分析维度下的信息，生成数据地图并展示；

其中，任务配置管理模块，具体包括：数据血缘分析策略制定、数据稽核和脚本发布；

其中，数据血缘分析策略制定，包括下述步骤：多源异构数据接入任务配置、选择源和目标、配置映射信息和设置数据血缘分析策略1；以及，数据转换任务配置、选择数据源库表、配置转换规则和设置数据血缘分析策略2；

多源异构数据接入任务配置，是指根据多源异构数据接入任务配置界面输入的配置信息，生成多源异构数据接入任务，该任务的任务目标除了包括数据源获取的数据存储至目标源外，还包括：基于设置数据血缘分析策略1所设置的策略1，分析从数据源获取的数据和存储至目标源的数据之间的血缘关系；

数据转换任务配置，是指为了确保数据的可用性，配置用于对待分析血缘关系的数据进行转换的任务，该任务的任务目标包括：对来源于数据源的数据进行转换，以及基于设置的数据血缘分析策略2，实现对转换前的数据和转换后的数据的血缘关系的确定；

设置数据血缘分析策略2，和设置数据血缘分析策略1不同；设置数据血缘分析策略1是针对多源异构数据接入任务所设置的数据血缘分析策略，相对简单，只需要分析同源同库数据血缘关系、同源异库数据血缘关系、异源数据血缘关系，计算相应的库内的表到表，字段到表，字段到字段的血缘关系、表到库，表到表，字段到表，字段到字段的血缘关系以及字段到字段，字段到表，表到表，表到库，数据源到数据源级别的血缘关系即可；而设置数据血缘分析策略2，则相对比较复杂，需要对应于采用的转换规则，设置相应的血缘关系分析策略，以便准确确定转换前的来源于数据源的数据和转换后存储至目标源的数据之间的血缘关系，对于不会对血缘关系产生影响的规则，则忽略，无需设置相应的数据血缘分析策略。

2.如权利要求1所述的系统，其特征在于，所述第一血缘关系，按照下述预先设置的数据血缘关系分析策略中的至少一种确定：

同源同库数据血缘关系分析策略，用于对来源于同一类型数据源的同一类型数据库的数据的血缘关系分析；

同源异库数据血缘关系分析策略，用于对来源于不同数据源的不同类型数据库的数据的血缘关系分析；

异源数据血缘关系分析策略，用于对来源于不同数据源的相同及不同类型数据库的数据的血缘关系分析。

3.如权利要求1所述的系统，其特征在于，所述数据地图生成模块，还用于：

获取默认设置的公有分析维度和用户输入的私有分析维度，作为所述指定分析维度。