[发明专利]用于作业处理的方法、设备和计算机程序产品

权利要求书

1.一种用于处理作业的方法，包括：

获取所述作业中的第一部分中的第一组任务，所述第一组任务可以由第一组处理设备来并行地执行；

基于分布式处理系统中的多个处理设备中的处理设备的处理资源的状态，分别向所述多个处理设备设置多个优先级，所述处理资源包括计算资源以及存储资源中的至少任一项；

基于所述多个优先级，从所述多个处理设备中选择所述第一组处理设备；以及

分别向所述第一组处理设备分配所述第一组任务，使得所述第一组处理设备分别利用各自的处理资源来处理所述第一组任务以生成第一组任务结果。

2.根据权利要求1所述的方法，其中分别向所述第一组处理设备分配所述第一组任务包括：针对所述多个处理设备中的处理设备，

根据确定所述处理设备的处理资源可用于处理与所述作业相关联的多个任务，向所述处理设备分配长期优先级；以及

根据确定所述处理设备的所述处理资源可用于处理与所述作业相关联的仅一个任务，向所述处理设备分配一次性优先级。

3.根据权利要求2所述的方法，其中所述处理资源包括计算资源和存储资源两者，以及其中向所述处理设备分配所述长期优先级包括以下中的至少任一项：

根据确定所述处理资源可用于处理与所述作业相关联的被分配的全部任务，向所述处理设备分配第一优先级；以及

根据确定所述处理资源可用于处理与所述作业相关联的被分配的至少两个任务，向所述处理设备分配第二优先级。

4.根据权利要求2所述的方法，进一步包括：指示所述处理设备将所述任务结果存储至所述第一组处理设备的存储资源中。

5.根据权利要求4所述的方法，其中指示所述处理设备将所述任务结果存储至所述第一组处理设备的存储资源中包括以下中的至少任一项：

指示所述处理设备将所述任务结果存储至所述第一组处理设备中的具有所述长期优先级的处理设备的存储资源中；以及

指示所述处理设备将所述任务结果存储至所述处理设备的存储资源中。

6.根据权利要求2所述的方法，其中向所述处理设备分配所述一次性优先级包括以下中的至少任一项：

根据确定所述处理资源可用于处理与所述作业相关联的被分配的仅一个任务，向所述处理设备分配第三优先级，所述处理资源包括计算资源和存储资源；以及

根据确定所述处理资源可用于处理与所述作业相关联的被分配的仅一个任务，向所述处理设备分配第四优先级，所述处理资源仅包括计算资源。

7.根据权利要求1所述的方法，其中分别向所述第一组处理设备分配所述第一组任务包括：

基于与所述作业相关联的原始数据，分别生成与所述第一组任务相关联的第一组数据划分；

将所述第一组数据划分存储至所述第一组处理设备中的存储资源中；以及

指示所述第一组处理设备分别从所述第一组处理设备中的所述存储资源获取所述第一组数据划分。

8.根据权利要求4所述的方法，进一步包括：

接收来自所述第一组处理设备的与所述第一组任务的第一组任务结果相关联的第一组结果地址；以及

基于所述第一组结果地址获取所述第一组任务结果。

9.根据权利要求8所述的方法，进一步包括：

获取所述作业中的第二部分中的第二组任务，所述第二组任务可以由第二组处理设备来并行地执行；

基于所述多个优先级，从所述多个处理设备中选择所述第二组处理设备；以及

分别向所述第二组处理设备分配所述第二组任务，使得所述第二组处理设备分别利用各自的处理资源来处理所述第二组任务以生成第二组任务结果。