[发明专利]数据管理方法、装置、存储介质及系统

说明书

本发明公开一种数据管理方法，由元数据系统执行，该方法包括：响应于数据仓库的离线数据任务产出结果表，对结果表执行数据质量校验任务，得到校验结果；判断所述校验结果是否为校验失败；响应于校验结果为校验失败，确定校验失败的任务节点，并判断校验失败的任务节点是否配置有第一告警方式；所述第一告警方式用于指示所述任务节点是否为关键任务节点；响应于判定所述校验失败的任务节点配置有第一告警方式，向所述数据仓库发送中断信号，以使所述数据仓库中断所述离线数据任务的执行。本发明提供的数据管理方法能够提高数据管理效率，防止下游任务出现雪崩效应，避免出现大面积的数据问题。同时本发明还提供数据管理装置、存储介质及系统。

技术领域

本发明涉及数据仓库技术领域，尤其涉及数据管理方法、装置、存储介质及系统。

背景技术

数据仓库是拥有海量数据的公司不可缺少的一环，是为了进一步挖掘数据资源、为了决策需要而产生的。在这个过程中必然涉及到数据的采集，清洗，整合等等一系列操作，那么在面向数据的过程中，伴随着数据开发，必然离不开数据管理。

发明人在实施本发明的过程中发现，现有技术存在如下缺陷：在进行数据管理的时候，仓库开发人员往往需要花费大量的精力去关注一些用于检查数据质量的其他系统或者是额外开发数据质量检查任务；而且，这种方式的数据管理，其实属于后知后觉的方式，当数据质量出现问题的时候，其不能在第一时间感知数据质量问题，容易导致雪崩效应，出现大面积的数据问题。

发明内容

基于此，本发明实施例提出了一种数据管理方法、装置、存储介质及系统，能够提高数据管理效率，防止下游任务出现雪崩效应，避免出现大面积的数据问题。

本发明实施例提供的数据管理方法应用于元数据系统，所述方法包括：

响应于数据仓库的离线数据任务产出结果表，对所述结果表执行数据质量校验任务，得到校验结果；

判断所述校验结果是否为校验失败；

响应于所述校验结果为校验失败，确定校验失败的任务节点，并判断校验失败的任务节点是否配置有第一告警方式；所述第一告警方式用于指示所述任务节点是否为关键任务节点；

响应于判定所述校验失败的任务节点配置有所述第一告警方式，向所述数据仓库发送中断信号，以使所述数据仓库中断所述离线数据任务的执行。

在一种可选的实施方式中，所述响应于数据仓库的离线数据任务产出结果表，对所述结果表执行数据质量校验任务，得到校验结果，包括：

响应于数据仓库的离线数据任务产出结果表，基于预先根据所述离线数据任务获得的元数据血缘关系，确定与所述结果表对应的预先配置的至少一条数据质量校验规则；及

根据所述至少一条数据质量校验规则对所述结果表进行数据质量校验，得到校验结果；

其中，所述元数据血缘关系包括表和任务的血缘关系、以及表和表的血缘关系。

在一种可选的实施方式中，所述至少一条数据质量校验规则包括：通用规则、自定义表级规则和自定义字段规则；

则所述响应于数据仓库的离线数据任务产出结果表，基于预先根据所述离线数据任务获得的元数据血缘关系，确定与所述结果表对应的预先配置的至少一条数据质量校验规则，包括：

响应于数据仓库的离线数据任务产出结果表，基于预先根据所述离线数据任务获得的元数据血缘关系，查询与所述结果表对应的预先配置的所述自定义表级规则和所述自定义字段规则；所述自定义表级规则包括非SQL型自定义规则和SQL型自定义规则；

将通用规则放入第一队列；

将所述非SQL型自定义规则放入第二队列；

将所述SQL型自定义规则放入第三队列；