[发明专利]一种数据质量预警方法、系统、存储介质及计算设备

说明书

本发明公开了一种电子信息技术领域的数据质量预警方法、系统、存储介质及计算设备，旨在解决现有技术中数据质量预警方式未考虑上游节点存在多个输出，从而较为笼统且不够精确的问题。其包括判断是否有上级数据加工节点的执行状态存在异常，若是则进行数据质量异常告警和数据质量风险预警；进行数据加工计算；对本级数据加工节点的各个输出表进行状态评估；判断本级数据加工节点是否有输出表被标记为异常，若是则进行数据质量异常告警和数据质量风险预警；本发明能够有效的避免某个数据加工节点在所依赖的上级数据加工节点的执行状态存在异常时进行无效的数据计算加工的情况发生，节约了数据计算资源。

技术领域

本发明涉及电子信息技术领域，具体是涉及一种数据质量预警方法、系统、存储介质及计算设备。

背景技术

随着企业信息化持续建设与深化应用，企业各项业务已与信息化初步融合，信息系统内业务数据的数量和种类的逐步增多，数据共享的需求越加迫切。数据之间存在依赖关系，一个数据出现质量问题，必然导致其后续加工的数据必然存在质量问题。在数据加工链路中，数据质量问题牵一发而动全身。

因此，只有及时的发现数据质量问题所在的位置，并能够对其下游加工节点进行预警，才能及时纠正错误数据，减少错误数据加工计算的进行，节约数据计算资源。

现有的数据质量预警方式，一般是根据数据加工的结果进行数据质量评估，但此时数据加工操作已经完成，消耗了计算资源。而个别根据上游节点的执行情况进行数据质量预警方式的方式，其仅仅是根据上游节点的情况进行判断，而并未考虑上游节点有可能存在多个输出的情况，在上游节点的多个输出中，只有当前节点计算所需的输出表的质量存在问题，才会对当前节点的计算结果质量存在影响，因此其判断方式较为笼统且不够精确，综合效果不佳。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种数据质量预警方法、系统、存储介质及计算设备，解决当前的数据质量预警方式未考虑上游节点存在多个输出，从而较为笼统且不够精确的问题。

为解决上述技术问题，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种数据质量预警方法，所述方法应用于数据加工节点，所述数据加工节点包括有零至多个输入表、数据加工程序和一至多个输出表，所述方法包括以下步骤：

根据预构建的节点依赖关系拓扑，判断是否有上级数据加工节点的执行状态存在异常，若是则对本级数据加工节点进行数据质量异常告警，对各个下级数据加工节点进行数据质量风险预警，并不再执行后续步骤；

执行本级数据加工节点的数据加工程序，对数据进行加工计算；

对本级数据加工节点的各个输出表进行状态评估，并将合格的输出表标记为正常，不合格的输出表标记为异常；

判断本级数据加工节点是否有输出表被标记为异常，若是则对本级数据加工节点进行数据质量异常告警，并对与各个标记为异常的输出表存在依赖关系的下级数据加工节点进行数据质量风险预警。

进一步的，所述节点依赖关系拓扑的构建方法包括：

采集各个数据加工节点之间的上下级节点关系；

根据所述上下级节点关系，建立本级数据加工节点的输入表与各个上级数据加工节点的输出表的依赖关系以及本级数据加工节点的输出表与各个下级数据加工节点的输入表的依赖关系；

对本级数据加工节点的输入表与各个上级数据加工节点的输出表的依赖关系以及本级数据加工节点的输出表与各个下级数据加工节点的输入表的依赖关系进行整合，构建节点依赖关系拓扑。

进一步的，所述上级数据加工节点的执行状态是否存在异常的判断方法包括：

判断上级数据加工节点的数据加工程序是否执行成功，若执行失败，则判定该上级数据加工节点的执行状态存在异常，否则，进行下一步骤；