[发明专利]数据资产管理的方法和装置

说明书

本发明公开了数据资产管理的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取数据集市中的所有生产任务，根据生产任务确定数据集市中各个数据表之间的第一关联关系；获取数据集市中各个数据表和各个应用模型之间的第二关联关系；依据第一关联关系和第二关联关系，构建数据集市的数据资产立体关系网络。该实施方式以数据表、生产任务和应用模型三者为核心构建数据集市的数据资产立体关系网络，能够确定数据表、生产任务、应用模型这三者之间的相互关联影响和依赖关系，展示数据的产生过程和对外使用情况，从而可以在数据异常时快速定位问题所在和影响范围，达到便于查看异常数据之间的相互依赖以及通知和告警的作用。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据资产管理的方法和装置。

背景技术

众所周知，数据治理和数据质量是数据中台的两大核心职能工作，数据中台工作服务的数据集市作为一个部门级别的数据仓库，且从属于集团企业级数据仓库获取数据。上下游数据联动的主要方式为：在上游人工告知数据变动，下游人工梳理变动影响范围或通过简单的关键信息获取大概影响，部门通过统一收集技术人员个人经验或笔记进行团队知识沉淀和信息共享。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

对于数据是如何产生的，数据表、生产任务、重要应用这三者之间的相互关联影响和依赖关系无从知晓；无法直观获知从上游仓库输入的数据情和输出至下游集市的数据情况；不能实现统一的查询和分类管理，同时对于数据资产中的劣质或垃圾资产，无法即时识别和有效清除。

发明内容

有鉴于此，本发明实施例提供一种数据资产管理的方法和装置，以数据表、生产任务和应用模型三者为核心构建数据集市的数据资产立体关系网络，能够确定数据表、生产任务、应用模型这三者之间的相互关联影响和依赖关系，展示数据的产生过程和对外使用情况，从而可以在数据异常时快速定位问题所在和影响范围，达到便于查看异常数据之间的相互依赖以及通知和告警的作用。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据资产管理的方法，包括：

获取数据集市中的所有生产任务，根据所述生产任务确定所述数据集市中各个数据表之间的第一关联关系；

获取所述数据集市中各个数据表和各个应用模型之间的第二关联关系；

依据第一关联关系和第二关联关系，构建所述数据集市的数据资产立体关系网络。

可选地，根据所述生产任务确定所述数据集市中各个数据表之间的第一关联关系，包括：

获取并解析所述生产任务，以确定作为所述生产任务的源表的第一数据表和作为所述生产任务的目标表的第二数据表；

以第一数据表和第二数据表中的其中一个为子、另一个为父形成数据表父子递归关系网络，得到所述数据集市中各个数据表之间的第一关联关系。

可选地，解析所述生产任务，包括：

对所述生产任务的执行代码进行分词处理，为每个分析建立唯一索引信息，得到所述生产任务的唯一索引序列；

根据正则表达式规则从所述唯一索引序列中提取所述生产任务的源表和目标表。

可选地，对所述生产任务的执行代码进行分词处理之前，还包括：

对所述生产任务的执行代码进行标准化处理。

可选地，所述方法还包括：获取所述数据集市中所有数据表、生产任务和应用模型的资产信息，将所述资产信息添加至所述数据资产立体关系网络中；所述资产信息包括以下至少之一：资产文件，存储位置，文件格式，存储路径，存储量，使用状态信息，资产质量信息更新信息。