[发明专利]一种数据管理方法及装置

说明书

本申请实施例提供了一种数据管理方法及装置，该方法包括：针对数据仓库中的每个目标数据，根据该目标数据对应的存储路径，确定与该目标数据相关的多个指定属性信息，以及根据该目标数据对应的数据内容，确定该目标数据包含的至少一个字段名称；基于预设图数据库根据各目标数据的多个指定属性信息和至少一个字段名称，构建数据仓库的元数据关系图谱；基于该元数据关系图谱，对各目标数据进行数据管理。采用图数据库的形式对数据仓库的元数据进行表示，构建相应的元数据关系图谱，提高了数据仓库的元数据的管理效率，同时后续结合该元数据关系图谱能够更加高效地对目标数据的数据质量进行监管，提高了目标数据的管理效率，降低了管理成本。

技术领域

本申请涉及计算机领域，尤其涉及一种数据管理方法及装置。

背景技术

目前，随着互联网技术的快速发展，线上业务处理的需求越来越多，因此，业务处理过程中产生的数据也越来越多，为了便于对数据仓库中的存储数据进行管理，通过预先构建数据仓库的元数据，再基于该元数据对数据仓库中的存储数据进行生命周期管理和数据质量管理，其中，在数据仓库领域中，元数据被定义为描述数据及其环境的数据，元数据是指从信息资源中抽取出来的用于说明其特征、内容的结构化的数据，元数据主要用来描述数据属性的信息，能够支持如指示存储位置、业务相关属性、历史数据、资源查找、文件记录等功能，可将元数据视为数据仓库的电子式目录。

当前，相关技术中针对元数据的构建过程，主要包括：基于关系型数据库构建数据仓库的元数据，具体的，需要利用预先生成的查询算法多次查询数据库获取各目标数据的属性信息之间的依赖关系，尤其针对各属性信息之间的依赖关系比较复杂的情况，不仅耗时比较长，而且容易出现关联错误的情况；另外，针对存储数据的管理过程，主要包括：由于一个关系型数据库是由多个表组成的矩形网格的信息，每个表可以有不同数量的行和列，如果需要获取待管理的目标数据，需要遍历每个信息表中的每条信息，整个过程耗时比较长。

由此可知，基于关系型数据库来构建元数据的过程中，存在效率低且维护成本高的问题，同时，基于关系型数据库构建的元数据进行目标数据管理的过程中，存在目标数据的查找与管理难度大的问题。

发明内容

本申请实施例的目的是提供一种数据管理方法及装置，采用图数据库的形式对数据仓库的元数据进行表示，构建相应的元数据关系图谱，提高了数据仓库的元数据的管理效率，同时后续结合该元数据关系图谱能够更加高效地对目标数据的数据质量进行监管，提高了目标数据的管理效率，降低了管理成本。

为解决上述技术问题，本申请实施例是这样实现的：

本申请实施例提供了一种数据管理方法，包括：

获取数据仓库中各目标数据的存储路径和数据内容，其中，所述存储路径包括：按照预设排布顺序排布的多个属性信息，所述目标数据包括：针对业务处理过程产生的业务数据；

针对每个所述目标数据，根据该目标数据对应的所述存储路径，确定与该目标数据相关的多个指定属性信息，以及根据该目标数据对应的所述数据内容，确定该目标数据包含的至少一个字段名称；

基于预设图数据库根据各所述目标数据的所述多个指定属性信息和所述至少一个字段名称，构建所述数据仓库的元数据关系图谱，其中，所述元数据关系图谱用于表征所述数据仓库中目标数据的元数据间关联关系的图数据库；

基于所述元数据关系图谱，对各所述目标数据进行数据管理，其中，所述数据管理包括：生命周期监控和/或数据质量监控。

本申请实施例提供了一种数据管理装置，包括：

信息获取模块，用于获取数据仓库中各目标数据的存储路径和数据内容，其中，所述存储路径包括：按照预设排布顺序排布的多个属性信息，所述目标数据包括：针对业务处理过程产生的业务数据；