[发明专利]任务处理方法、装置、设备及电子介质

权利要求书

1.一种任务处理方法，其特征在于，包括：

获取目标任务对应的待处理数据的总数据量，以及获取至少两个计算机的计算机数量；

基于所述总数据量和所述计算机数量，将所述目标任务拆分为至少两个分片任务；

将所述分片任务分发至每一个所述计算机，其中，所述计算机用于根据所述分片任务对所述待处理数据中的部分数据进行解析处理，获得分片处理结果；

获取每一个所述计算机返回的所述分片处理结果；

对每一个所述分片处理结果进行聚合，获得所述目标任务对应的最终处理结果。

2.根据权利要求1所述的任务处理方法，其特征在于，所述将所述分片任务分发至每一个所述计算机之后，还包括：

基于所述计算机的互联网协议地址和端口号，调起分发至每一个所述计算机上的所述分片任务，其中，所述计算机用于判断本地是否存在所述分片任务，若存在，返回本地所述分片任务执行的分片任务状态，若不存在，返回调起失败信息；

对于所述调起失败信息对应的所述分片任务：重复基于所述计算机的互联网协议地址和端口号，调起所述计算机上的所述分片任务的步骤，直至获取所述计算机返回的分片任务状态，或者，直至调起次数达到第一次数阈值。

3.根据权利要求2所述的任务处理方法，其特征在于，所述直至调起次数达到第一次数阈值之后，还包括：

将所述调起失败信息对应的所述分片任务添加至重试队列；

对于所述重试队列中的每一个所述分片任务：以第一预设时长为周期，重复基于所述计算机的互联网协议地址和端口号，调起所述计算机上的所述分片任务的步骤，直至获取所述计算机返回的分片任务状态，或者，所述直至调起次数达到第二次数阈值，并生成警报信息。

4.根据权利要求1所述的任务处理方法，其特征在于，所述计算机用于以第二预设时长为周期，返回本地所述分片任务执行的分片任务状态和任务进度；

所述基于所述总数据量和所述计算机数量，将所述目标任务拆分为至少两个分片任务之后，还包括：

将所述分片任务存储至预设数据库；

所述将所述分片任务分发至每一个所述计算机之后，还包括：

获取计算机返回的所述分片任务状态和所述任务进度；

将所述分片任务状态和所述任务进度，存储至所述预设数据库中对应的所述分片任务。

5.根据权利要求4所述的任务处理方法，其特征在于，所述将所述分片任务分发至每一个所述计算机之后，还包括：

以第三预设时长为周期，检测所述预设数据库中每一个所述分片任务对应的所述分片任务状态和所述任务进度，是否发生变化；

对于未发生变化的所述分片任务：在所述分片任务状态不是执行完毕的情况下，基于所述任务进度重新生成新分片任务；将所述新分片任务分发至新计算机，其中，所述新计算机与未发生变化的所述分片任务对应的计算机不同。

6.根据权利要求5所述的任务处理方法，其特征在于，所述获取每一个所述计算机返回的所述分片处理结果，包括：

对于任意一个所述计算机：在所述计算机返回的所述分片任务状态为执行完毕的情况下，基于所述任务进度，获取所述分片处理结果。

7.根据权利要求1至6任一项所述的任务处理方法，其特征在于，所述分片任务的数量与所述计算机数量相同；

每两个所述分片任务分别对应的分片数据量相同；

每一个所述分片任务对应的所述分片数据量的总和，与所述总数据量相同。