[发明专利]一种任务处理方法和设备

权利要求书

1.一种任务处理方法，其特征在于，该方法包括：

当任务管理设备接收到任务时，所述任务管理设备判断所述任务的输入数据量是否已经被配置为全表数据量；

如果判断结果为否，所述任务管理设备调用内置优化接口，确定所述任务的实际输入数据量；

所述任务管理设备判断所述任务所在集群的组的当前限额使用率是否超过预设阈值；

如果没有超过，所述任务管理设备判断所述实际输入数据量是否大于全表数据量；

如果大于，所述任务管理设备根据所述全表数据量，为所述任务分配资源，并执行所述任务；

其中，如果所述任务管理设备判断所述实际输入数据量不大于全表数据量，所述任务管理设备根据所述实际输入数据量，为所述任务分配资源，并执行所述任务。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

如果所述任务管理设备判断所述任务的输入数据量已经被配置为全表数据量，所述任务管理设备根据所述全表数据量，为所述任务分配资源，并执行所述任务；

如果所述任务管理设备判断所述任务所在集群的组的当前限额使用率超过预设阈值，所述任务管理设备根据所述实际输入数据量，为所述任务分配资源，并执行所述任务；

如果所述任务管理设备判断所述实际输入数据量不大于全表数据量，所述任务管理设备根据所述实际输入数据量，为所述任务分配资源，并执行所述任务。

3.如权利要求1或2所述的方法，其特征在于，所述预设阈值具体为50％。

4.如权利要求1所述的方法，其特征在于，所述任务管理设备调用内置优化接口，确定所述任务的实际输入数据量，具体包括：

所述任务管理设备对所述任务进行SQL编译，并获取SQL编译之后的任务树；

所述任务管理设备判断所述任务树是否为空；

如果为空，所述任务管理设备将所述全表数据量作为实际输入数据量；

如果不为空，所述任务管理设备对SQL编译之后的数据进行重解析，并依据预设的数据量确定规则，根据重解析后的结果确定实际输入数据量。

5.如权利要求4所述的方法，其特征在于，所述任务管理设备对SQL编译之后的数据进行重解析，并依据预设的数据量确定规则，根据重解析后的结果确定实际输入数据量，具体包括：

所述任务管理设备对SQL编译之后的关键预算符operator进行重解析；

所述任务管理设备根据重解析后的结果确定以下四个变量：

每个物理表所需字段与全部字段占比a、映射map含有的去重distinct数量b、自定义函数udf数量c以及映射关联mapjoin数量d；

所述任务管理设备根据所述四个变量，按照以下规则确定实际输入数据量：

实际输入数据量＝全表数据量×a+max(全表数据量×b，全表数据量×I(c)×0.5，全表数据量×I(d))，

其中，当x0时，I(x)＝1，否则，I(x)＝0；

max(x，y，z)表示x、y和z中的最大值。

6.一种任务管理设备，其特征在于，包括：

接收模块，用于接收任务；

第一判断模块，用于判断所述接收模块所接收到的任务的输入数据量是否已经被配置为全表数据量；

确定模块，用于在所述第一判断模块的判断结果为否时，调用内置优化接口，确定所述任务的实际输入数据量；

第二判断模块，用于判断所述任务所在集群的组的当前限额使用率是否超过预设阈值；

第三判断模块，用于在所述第二判断模块的判断结果为没有超过时，判断所述确定模块所确定的实际输入数据量是否大于全表数据量；

处理模块，用于在所述第三判断模块的判断结果为大于时，根据所述全表数据量，为所述任务分配资源，并执行所述任务；

其中，在所述第三判断模块的判断结果为不大于时，所述处理模块根据所述确定模块所确定的实际输入数据量，为所述任务分配资源，并执行所述任务。