[发明专利]分布式任务的处理方法、装置、终端设备及存储介质

说明书

本发明公开了一种分布式任务的处理方法、装置、终端设备及存储介质，该分布式任务的处理方法包括：获取分布式任务的调度指令，并识别所述调度指令的指令类型；当所述指令类型为执行指令时，检测处理所述分布式任务的逻辑步骤；根据所述逻辑步骤生成新的所述调度指令，直到所述逻辑步骤为最终步骤。本发明解决了传统的分布式任务调度处理方式，会导致对机器集群中服务器的利用率不均衡的技术问题。

技术领域

本发明涉及Fintech(金融科技)技术领域，尤其涉及一种分布式任务的处理方法、装置、终端设备及存储介质。

背景技术

当前的分布式任务调度处理主要是采用是单机调度方式，即任务调度后落在一台节点服务器上进行处理，另外，对还可以采用任务分片的形式进行调度，由一台服务器按集群中服务器的总量对任务数据进行切片，从而通过多台服务器并行的对被分配的任务数据进行处理，如此，可以一定程度的加快处理速度。

然而，现有的单机调度方式会导致集群中其他服务器处于闲置状态，无法得到有效利用，且由于任务分片的形式只能对任务数据进行切片，在任务的处理过程中，集群服务器的资源需求差异(主要因数据漏斗在不同节点服务器对分布式任务进行处理后对业务数据进行筛选)，同样会导致服务器的利用率不均衡。

发明内容

本发明的主要目的在于提供一种分布式任务的处理方法、装置、终端设备及存储介质，旨在解决传统的分布式任务调度处理方式，会导致对机器集群中服务器的利用率不均衡的技术问题。

为实现上述目的，本发明提供一种分布式任务的处理方法，所述分布式任务的处理方法包括以下步骤：

获取分布式任务的调度指令，并识别所述调度指令的指令类型；

当所述指令类型为执行指令时，检测处理所述分布式任务的逻辑步骤；

根据所述逻辑步骤生成新的所述调度指令，直到所述逻辑步骤为最终步骤。

可选地，所述调度指令的指令类型至少包括取数指令、所述执行指令和终止指令中的一种，

在所述获取分布式任务的调度指令，并识别所述调度指令的指令类型的步骤之后，所述方法还包括：

根据识别到的所述指令类型处理所述分布式任务，并生成新的所述调度指令。

可选地，所述根据识别到的所述指令类型处理所述分布式任务，并生成新的所述调度指令的步骤，包括：

当识别到的所述指令类型为取数指令时，从所述取数指令所指定的数据源中提取待处理任务数据；

按照预设批次，封装所述待处理任务数据以生成新的所述调度指令。

可选地，所述根据识别到的所述指令类型处理所述分布式任务的步骤，还包括：

当识别到的所述指令类型为终止指令时，检测当前处理所述分布式任务的机器集群；

在所述机器集群中广播所述终止指令，以终止处理所述分布式任务。

可选地，所述当所述指令类型为执行指令时，检测处理所述分布式任务的逻辑步骤的步骤，包括：

当识别到的所述指令类型为执行指令时，提取所述执行指令携带的所述待处理任务数据；

处理所述待处理任务数据，并检测当前处理所述待处理任务数据的逻辑步骤。

可选地，所述逻辑步骤至少包括中间步骤和所述最终步骤中的一种，

所述根据所述逻辑步骤生成新的所述调度指令，直到所述逻辑步骤为最终步骤的步骤，包括：

若检测到所述逻辑步骤为中间步骤，则封装对所述待处理任务数据进行处理的处理结果，以生成新的指令类型为执行指令的调度指令；