[发明专利]数据处理过程的监管方法、装置、计算机设备及存储介质

说明书

本发明实施例公开了一种数据处理过程的监管方法、装置、计算机设备及存储介质。该方法包括：检测在预设的时间节点结果表中是否有第一任务的更新数据；若否，则将第一任务标记为失败任务；根据任务依赖关系确定失败任务在数据上游中对应的顶端任务；调度顶端任务进行重试，并在顶端任务成功修复后，根据任务依赖关系继续调度顶端任务在数据下游中对应的第二任务，直至结果表中出现第一任务的更新数据，第二任务包括第一任务。本发明实施例所提供的技术方案，实现了对数据处理过程的监管，及时的发现数据处理链条中的失败信息并自动恢复，保证了数据处理链条的通畅以及数据处理任务的顺利执行。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理过程的监管方法、装置、计算机设备及存储介质。

背景技术

在通过互联网向用户提供各种应用服务的行业(OTT)中，所涉及的业务比较分散且多样，如影视播放、体育、教育、少儿以及购物等等业务分类，各个业务线需要不同的报表和数据来支持决策和状态感知。不管是数据仓库本身的建设过程还是为外部服务提供数据支持，过程中通过对原始数据不断的分层处理产生一个数据的处理链条，该处理链条的上下游将会产生大量的数据表，同时这些数据表之间也存在一定的血缘关系。但是当处理链条因其中一个步骤的失败而断开时，将会影响到该步骤之后的数据使用效果，该处理链条也就不再能顺利执行。

发明内容

本发明实施例提供一种数据处理过程的监管方法、装置、计算机设备及存储介质，以实现对数据处理过程的监管，从而保证数据处理任务的顺利执行。

第一方面，本发明实施例提供了一种数据处理过程的监管方法，该方法包括：

检测在预设的时间节点结果表中是否有第一任务的更新数据；若否，则将所述第一任务标记为失败任务；

根据任务依赖关系确定所述失败任务在数据上游中对应的顶端任务；

调度所述顶端任务进行重试，并在所述顶端任务成功修复后，根据所述任务依赖关系继续调度所述顶端任务在数据下游中对应的第二任务，直至所述结果表中出现所述第一任务的更新数据，所述第二任务包括所述第一任务。

第二方面，本发明实施例还提供了一种数据处理过程的监管装置，该装置包括：

更新检测模块，用于检测在预设的时间节点结果表中是否有第一任务的更新数据；若否，则将所述第一任务标记为失败任务；

任务确定模块，用于根据任务依赖关系确定所述失败任务在数据上游中对应的顶端任务；

任务重试模块，用于调度所述顶端任务进行重试，并在所述顶端任务成功修复后，根据所述任务依赖关系继续调度所述顶端任务在数据下游中对应的第二任务，直至所述结果表中出现所述第一任务的更新数据，所述第二任务包括所述第一任务。

第三方面，本发明实施例还提供了一种计算机设备，该计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的数据处理过程的监管方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的数据处理过程的监管方法。