[发明专利]任务调度异常监控方法、装置、介质及程序产品

说明书

本申请提供了一种任务调度异常监控方法、装置、介质及程序产品，通过根据当前任务周期的工作计划，获取一个或多个历史任务周期的历史任务数据；根据历史任务数据确定多个任务耗时类型和调度关系图谱，每个任务耗时类型中所包含的数据量与耗时数据的总量的比值满足预设占比要求；根据多个任务耗时类型以及调度关系图谱，确定至少一个定时检测任务；根据各个定时检测任务在各个检测时间点的检测结果，预判目标系统的任务调度出现异常的概率是否满足预设预警要求；若是，则确定并输出一个或多个预警信息。解决了现有的异常监控存在响应时效差、配置不灵活，且仅是逻辑层面的监控，与实际业务耦合度不高的技术问题。

技术领域

本申请涉及金融科技(Fintech)领域，尤其涉及一种任务调度异常监控方法、装置、介质及程序产品。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变。目前，金融及互联网行业每天要处理的离线数据具有数据规模大、时效要求高的特点，特别是金融企业，涉及大量监管报送数据处理，如果数据处理的任务没有完成导致相关数据不能按时给出，甚至可能受到监管问责，影响企业评级和声誉。因此任务调度系统的监控和异常响应尤为重要。

目前开源的任务调度框架或工具，如Azkaban、Airflow、Oozie等，已经比较成熟，但是使用这些框架或工具所配置或开发的监控功能大多是基于任务异常状态或基于经验配置的固定参数等，这类监控告警出来后往往任务已经处于异常状态或已经造成了实际影响。

即现有的异常监控存在响应时效差、配置不灵活，且仅是逻辑层面的监控，与实际业务耦合度不高的技术问题，增加了运维工作的难度和工作量。

发明内容

本申请提供一种任务调度异常监控方法、装置、介质及程序产品，以解决现有的异常监控存在响应时效差、配置不灵活，且仅是逻辑层面的监控，与实际业务耦合度不高的技术问题。

第一个方面，本申请提供一种任务调度异常监控方法，包括：

根据当前任务周期的工作计划，获取一个或多个历史任务周期的历史任务数据，历史任务周期的历史工作计划与当前任务周期的工作计划的相似度满足预设要求，历史任务数据包括：各个历史任务的配置数据以及执行各个历史任务的耗时数据；

利用预设聚类模型，根据耗时数据，对各个历史任务循环进行聚类处理，直至确定多个任务耗时类型，并且每个任务耗时类型中所包含的数据量与耗时数据的总量的比值满足预设占比要求；

根据配置数据确定调度关系图谱，并根据多个任务耗时类型以及调度关系图谱，确定至少一个定时检测任务，调度关系图谱用于表征各个历史任务之间相互调用处理结果的依赖关系；

根据各个定时检测任务在各个检测时间点的检测结果，预判目标系统的任务调度出现异常的概率是否满足预设预警要求；若是，则确定并输出一个或多个预警信息。

在一种可能的设计中，一个或多个历史任务周期包括：与当前周期最近的上一个任务周期，或者与当前周期最近的连续多个任务周期。

在一种可能的设计中，利用预设聚类模型，根据耗时数据，对各个历史任务循环进行聚类处理，直至确定多个任务耗时类型，包括：

从所有历史任务中随机抽取多个历史任务的耗时数据作为聚类中心；

利用预设聚类模型，根据聚类中心，对各个历史任务进行第一次聚类处理，以确定一个或多个第一耗时类型；

判断每个第一耗时类型中的数据量占比是否满足预设占比要求；

若是，则确定第一耗时类型为任务耗时类型；

若否，则重新确定聚类中心，并重新进行聚类处理，以重新确定第一耗时类型，直至每个第一耗时类型对应的数据量占比满足预设占比要求；