[发明专利]一种数据质量预警方法、系统、存储介质及计算设备

权利要求书

1.一种数据质量预警方法，其特征在于，所述方法应用于数据加工节点，所述数据加工节点包括有零至多个输入表、数据加工程序和一至多个输出表，所述方法包括以下步骤：

根据预构建的节点依赖关系拓扑，判断是否有上级数据加工节点的执行状态存在异常，若是则对本级数据加工节点进行数据质量异常告警，对各个下级数据加工节点进行数据质量风险预警，并不再执行后续步骤；

执行本级数据加工节点的数据加工程序，进行数据加工计算；

对本级数据加工节点的各个输出表进行状态评估，并将合格的输出表标记为正常，不合格的输出表标记为异常；

判断本级数据加工节点是否有输出表被标记为异常，若是则对本级数据加工节点进行数据质量异常告警，并对与各个标记为异常的输出表存在依赖关系的下级数据加工节点进行数据质量风险预警。

2.根据权利要求1所述的数据质量预警方法，其特征在于，所述节点依赖关系拓扑的构建方法包括：

采集各个数据加工节点之间的上下级节点关系；

根据所述上下级节点关系，建立本级数据加工节点的输入表与各个上级数据加工节点的输出表的依赖关系以及本级数据加工节点的输出表与各个下级数据加工节点的输入表的依赖关系；

对本级数据加工节点的输入表与各个上级数据加工节点的输出表的依赖关系以及本级数据加工节点的输出表与各个下级数据加工节点的输入表的依赖关系进行整合，构建节点依赖关系拓扑。

3.根据权利要求1所述的数据质量预警方法，其特征在于，所述上级数据加工节点的执行状态是否存在异常的判断方法包括：

判断上级数据加工节点的数据加工程序是否执行成功，若执行失败，则判定该上级数据加工节点的执行状态存在异常，否则，进行下一步骤；

判断上级数据加工节点的输出表是否被标记为异常，若被标记为异常，则判定该上级数据加工节点的执行状态存在异常，其中，所述输出表是与本级数据加工节点的输入表存在依赖关系的输出表。

4.根据权利要求1所述的数据质量预警方法，其特征在于，所述对本级数据加工节点的各个输出表进行状态评估包括：

判断本级数据加工节点的数据加工程序是否执行成功，若执行失败，则将本级数据加工节点的输出表均判定为不合格，若执行成功，则进行下一步骤；

根据数据质量评估指标对本级数据加工节点的各个输出表进行质量评估，并将达标的输出表判定为合格，不达标的输出表判定为不合格。

5.根据权利要求1所述的数据质量预警方法，其特征在于，所述根据预构建的节点依赖关系拓扑，判断是否有上级数据加工节点的执行状态存在异常之前还包括：

根据预构建的节点依赖关系拓扑，采集各个上级数据加工节点的加工状态，若任一上级数据加工节点的加工状态标记为未加工，则对本级数据加工节点进行上游节点任务积压告警，并不再执行后续步骤；

所述执行本级数据加工节点的数据加工程序，进行数据加工计算之后还包括：

将本级数据加工节点的加工状态标记为已加工。

6.一种数据质量预警系统，其特征在于，包括：

上级节点预警模块，用于根据预构建的节点依赖关系拓扑，判断是否有上级数据加工节点的执行状态存在异常，若是则对本级数据加工节点进行数据质量异常告警，对各个下级数据加工节点进行数据质量风险预警；

数据计算模块，用于执行本级数据加工节点的数据加工程序，对数据进行加工计算；

输出表评估模块，用于对本级数据加工节点的各个输出表进行状态评估，并将合格的输出表标记为正常，不合格的输出表标记为异常；

本级节点预警模块，用于判断本级数据加工节点是否有输出表被标记为异常，若是则对本级数据加工节点进行数据质量异常告警，并对与各个标记为异常的输出表存在依赖关系的下级数据加工节点进行数据质量风险预警。

7.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至5所述的方法中的任一项方法。

8.一种计算设备，其特征在于，包括：

一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至5所述的方法中的任一项方法的指令。