[发明专利]一种任务处理方法和设备

说明书

本申请实施例公开了一种任务处理方法和设备，通过应用本申请实施例所提出的技术方案，结合任务的实际输入数据量和任务所在集群的组的当前限额使用率，对相应的资源进行适应性调整，从而，实现了在大型计算集群中，对运行的任务进行个性化分配计算资源，保障任务得到合理的资源，提高任务执行效率，保证计算集群的资源利用率，提升任务并发度。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种任务处理方法和设备。

背景技术

对于一个繁忙的大型集群系统，每天会有数十万量级次数的临时查询任务，这些临时查询任务中，大部分取数任务基本只会运行一次。

在现有的技术方案中，默认情况下，系统认为输入文件大小都是整张表的大小，且一个表可以处理256M的数据，这样就可以控制该任务需要的表数。

但是，申请人在实现本申请的过程中发现现有技术中存在以下技术问题：

实际应用中，很多的任务都不是取的整张表的所有字段，且很多任务都有很多特殊的操作，如LIMIT(限定)、GBY(聚合)等，如果仍按照默认算法，会导致很多任务分配不到合理的计算资源，进而影响集群任务的吞吐量，导致部分任务由于不能及时得到计算资源而长期等待，进而会对用户体验造成非常恶劣的影响。

发明内容

本申请实施例提供了一种任务处理方法及设备，用以对运行的任务进行个性化分配计算资源，保障任务得到合理的资源，提高任务执行效率，从而保证计算集群的资源利用率，提升任务并发度。

为此，本申请采用以下技术手段：

本申请实施例提供了一种任务处理方法，该方法包括：

当任务管理设备接收到任务时，所述任务管理设备判断所述任务的输入数据量是否已经被配置为全表数据量；

如果判断结果为否，所述任务管理设备调用内置优化接口，确定所述任务的实际输入数据量；

所述任务管理设备判断所述任务所在集群的组的当前限额使用率是否超过预设阈值；

如果没有超过，所述任务管理设备判断所述实际输入数据量是否大于全表数据量；

如果大于，所述任务管理设备根据所述全表数据量，为所述任务分配资源，并执行所述任务。

另一方面，本申请实施例还提供了一种任务管理设备，包括：

接收模块，用于接收任务；

第一判断模块，用于判断所述接收模块所接收到的任务的输入数据量是否已经被配置为全表数据量；

确定模块，用于在所述第一判断模块的判断结果为否时，调用内置优化接口，确定所述任务的实际输入数据量；

第二判断模块，用于判断所述任务所在集群的组的当前限额使用率是否超过预设阈值；

第三判断模块，用于在所述第二判断模块的判断结果为没有超过时，判断所述确定模块所确定的实际输入数据量是否大于全表数据量；

处理模块，用于在所述第三判断模块的判断结果为大于时，根据所述确定模块所确定的全表数据量，为所述任务分配资源，并执行所述任务。

与现有技术相比，本申请实施例所提出的技术方案具有以下有益效果：

通过应用本申请实施例所提出的技术方案，结合任务的实际输入数据量和任务所在集群的组的当前限额使用率，对相应的资源进行适应性调整，从而，实现了在大型计算集群中，对运行的任务进行个性化分配计算资源，保障任务得到合理的资源，提高任务执行效率，保证计算集群的资源利用率，提升任务并发度。

附图说明