[发明专利]数据处理系统及其执行数据处理任务的方法

说明书

本发明实施例提供一种数据处理系统及其执行数据处理任务的方法，属于通信技术领域。其中，系统包括调度设备和数据处理平台，方法包括：调度设备获取目标定时任务，生成与目标定时任务对应的目标任务队列集，目标任务队列集中至少包括待执行队列和执行队列；调度设备基于目标定时任务定时生成数据处理任务，并将与数据处理任务对应的信号量添加至待执行队列；当在待执行队列中检测到目标信号量时，数据处理平台将目标信号量转移至执行队列，并执行与目标信号量对应的目标数据处理任务；若目标数据处理任务执行异常，调度设备则将目标信号量重新添加至待执行队列。采用本发明，无需人工干预即能够对执行异常的数据处理任务自动重新执行。

技术领域

本发明涉及通信技术领域，特别涉及一种数据处理系统及其执行数据处理任务的方法。

背景技术

数据处理平台可以对业务应用在运行过程中生成的大量应用数据进行分析，业务应用的运维人员可以根据数据处理平台反馈的数据处理结果来快速定位业务应用在运行过程中发生的异常事件，进而对业务应用的运行性能进行调优处理。

现有技术可以通过设置定时任务使数据处理平台周期性地生成数据处理任务。现有数据处理平台通常采用批处理计算的方式对持续产生的应用数据进行处理，具体而言，数据处理平台可以基于定时任务周期性地生成针对应用数据的数据处理任务，然后针对每个数据处理任务创建一个作业进程对业务应用在与每个数据处理任务对应的时间窗口内生成的所有应用数据进行处理。例如，业务应用的运维人员在数据处理平台中设置了“从时刻8:00起，每三分钟检测一次业务应用是否曾经运行异常”的定时任务，当到达时刻8:03时，数据处理平台生成一个数据处理任务并创建对应的作业进程，通过该作业进程分析业务应用从时刻8:00至时刻8:03产生的应用数据来判断业务应用是否曾经运行异常，当到达时刻8:06时，数据处理平台生成另一个数据处理任务并创建对应的作业进程，通过该作业进程分析业务应用从时刻8:03至时刻8:06产生的应用数据来判断业务应用是否曾经运行异常，以此类推。

本专利申请的发明人，通过研究现有的采用批处理计算的数据处理平台执行数据处理任务的过程发现，现有技术至少存在以下问题：采用批处理计算的数据处理平台不能针对执行异常(包括执行超时和执行失败)的数据处理任务自动重新执行，需要运维人员主动查询是否存在执行超时或失败的数据处理任务，并对执行超时或失败的数据处理任务进行人工干预来重新执行，人工维护效率低且成本高，而且，当执行大量的短时间窗口(通常不超过十分钟)对应的数据处理任务时，数据处理平台需要频繁创建和删除大量执行数据处理任务的作业进程，耗费数据处理平台资源以及影响数据处理平台的稳定性。

发明内容

本申请的目的在于提供一种数据处理系统及其执行数据处理任务的方法，以解决现有技术存在的部分或全部问题。

为实现上述目的，本申请一方面提供了一种执行数据处理任务的方法，该方法应用于数据处理系统，数据处理系统包括调度设备和数据处理平台，该方法包括：调度设备获取目标定时任务，生成与目标定时任务对应的目标任务队列集，目标任务队列集中至少包括待执行队列和执行队列；调度设备基于目标定时任务定时生成数据处理任务，并将与数据处理任务对应的信号量添加至待执行队列；当在待执行队列中检测到目标信号量时，数据处理平台将目标信号量转移至执行队列，并执行与目标信号量对应的目标数据处理任务；若目标数据处理任务执行异常，调度设备则将目标信号量重新添加至待执行队列。

进一步的，系统还包括管理设备；调度设备获取目标定时任务之前的步骤包括：管理设备基于CRON表达式配置目标定时任务，并将CRON表达式添加至任务配置表，以使调度设备从任务配置表读取目标定时任务。

在一个实施例中，该方法还包括：数据处理平台按照目标信号量在待执行队列中的排列顺序从待执行队列中获取目标信号量；若检测到所述目标数据处理任务的执行优先级的修改请求，所述调度设备修改所述目标信号量在所述待执行队列中的排列顺序，以使所述数据处理平台根据修改后的排列顺序从所述待执行队列中获取所述目标信号量。