[发明专利]分布式任务调度系统中任务处理方法及相关装置

说明书

本申请是关于一种分布式任务调度系统中任务处理方法及相关装置，属于计算机技术领域，该方法包括：当客户端通过存储任务的运行中状态消息至延时队列及将任务的标识存入任务缓存，开始执行任务；从延时队列获取延时的运行中状态消息，并确定任务的标识是否存在于任务缓存中；如果任务的标识存在于所述任务缓存中，则将延时的运行中状态消息发送给服务端；当任务执行结束后，将任务的标识从所述任务缓存中删除，并将所述任务的执行结果反馈至所述服务端，以使得所述服务端再次更新所述任务的执行记录，完成所述任务在分布式任务调度系统的执行。本申请的实施例有效降低分布式系统中任务调度时消息处理负荷，提升任务吞吐量。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种分布式任务调度系统中任务处理方法、装置、介质及电子设备。

背景技术

分布式任务调度系统，实现了任务调度与任务运行分离，即服务端负责任务调度，客户端负责具体任务运行。这样在任务执行与任务调度分离的状态下，任务执行状态需要进行有效的监管，目前，通常在任务执行时的各个节点由客户端向服务端反馈任务执行状态消息，这样由于任务执行情况复杂多样，状态消息的反馈会比较混乱，导致分布式系统中任务调度时消息处理负荷较大，任务吞吐量有限。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本申请的目的在于提供一种分布式任务调度系统中任务处理方案，进而至少在一定程度上保证分布式系统任务调度的可靠性的情况下，有效降低分布式系统中任务调度时消息处理负荷，提升任务吞吐量。

根据本申请的一个方面，提供一种分布式任务调度系统中任务处理方法，包括：

当客户端接收到服务端发送的任务的触发消息，通过存储所述任务的运行中状态消息至延时队列及将所述任务的标识存入任务缓存，开始执行所述任务，所述任务缓存用于缓存未完成任务的标识；

从所述延时队列获取延时的运行中状态消息，并确定所述任务的标识是否存在于所述任务缓存中；

如果所述任务的标识存在于所述任务缓存中，则将所述延时的运行中状态消息发送给服务端，以使得所述服务端根据接收到的所述运行中状态消息更新所述任务的执行记录；

当所述任务执行结束后，将所述任务的标识从所述任务缓存中删除，并将所述任务的执行结果反馈至所述服务端，以使得所述服务端再次更新所述任务的执行记录，完成所述任务在分布式任务调度系统的执行。

在本申请的一种示例性实施例中，所述当客户端接收到服务端发送的任务的触发消息，通过存储所述任务的运行中状态消息至延时队列及将所述任务的标识存入任务缓存，开始执行所述任务，包括：

当客户端接收到服务端发送的任务的触发消息，获取所述触发消息中任务的预测运行时长，所述预测预测运行时长通过将所述任务的执行相关参数输入预设时长预测模型得到；

当所述预测运行时长小于预定阈值时，通过存储所述任务的运行中状态消息至所述延时队列并将所述任务的标识存入所述任务缓存，开始执行所述任务。

在本申请的一种示例性实施例中，所述从所述延时队列获取延时的运行中状态消息，包括：

基于守护线程从所述延时队列获取延时的运行中状态消息。

在本申请的一种示例性实施例中，在所述从所述延时队列获取延时的运行中状态消息，并确定所述任务的标识是否存在于所述任务缓存中之后，还包括：

如果所述任务的标识不存在于所述任务缓存中，则不发送所述延时的运行中状态消息给服务端。

根据本申请的一个方面，提供一种分布式任务调度系统中任务处理方法，其包括：