[发明专利]针对离线任务的处理资源分配方法及系统

权利要求书

1.一种针对离线任务的处理资源分配方法，包括：

获取待执行的第一任务集合，所述第一任务集合中的第一任务均需要在指定时刻之前完成，所述第一任务内具有影响复杂度的任务单元以及计划数据量，其中所述任务单元通过对应不同复杂度的读取方式、查询方式、存储方式或算法方式执行；

根据所述第一任务内影响复杂度的任务单元，确定第一任务的复杂度；

根据所述第一任务的复杂度和计划数据量、以及所述指定时刻，为所述第一任务集合创建任务执行序列，所述任务执行序列包括所述第一任务集合中第一任务的执行顺序、预计处理资源和预计消耗时长，执行所述任务执行序列所需的预计消耗时长不超过当前时刻与所述指定时刻的间隔；

根据所述任务执行序列为所述第一任务集合分配处理资源，并将剩余的处理资源分配给第二任务集合，所述第二任务集合中的第二任务不需要在所述指定时刻之前完成，其中，

根据所述第一任务的复杂度和计划数据量、以及所述指定时刻，为所述第一任务集合创建任务执行序列，包括：根据所述第一任务的复杂度和计划数据量，为所述第一任务确定预计处理资源；基于复杂度、任务数据量、处理资源和消耗时长之间的对应关系，根据所述第一任务的复杂度、计划数据量、以及确定的预计处理资源，为所述第一任务确定预计消耗时长；若执行所述第一任务集合所需的预计消耗时长超过当前时刻与所述指定时刻的间隔，则调整所述第一任务的复杂度、计划数据量，重新为所述第一任务确定预计处理资源，并基于复杂度、任务数据量、处理资源和消耗时长之间的对应关系和调整后所述第一任务的复杂度、计划数据量以及确定的预计处理资源，重新为所述第一任务确定计消耗时长，以调低第一任务的预计消耗时长，直至所需的预计消耗时长不超过当前时刻与所述指定时刻的间隔；为所述第一任务集合创建任务执行序列。

2.如权利要求1所述的方法，根据所述第一任务内影响复杂度的任务单元，确定第一任务的复杂度，包括：

将所述第一任务，与已完成的历史第一任务进行任务单元匹配；

若匹配结果满足相似任务条件，则将所述历史第一任务的复杂度确定为所述第一任务的复杂度。

3.如权利要求1所述的方法，根据所述各第一任务内影响复杂度的任务单元，确定第一任务的复杂度，包括：

基于为不同任务单元预设的不同单元复杂度，获取所述第一任务内的任务单元对应的单元复杂度；

根据所述任务单元的单元复杂度，确定所述第一任务的复杂度。

4.如权利要求1所述的方法，当第一任务集合中存在多个第一任务时，所述方法还包括：

当按照所述任务执行序列依次执行完成单个第一任务后，判断所述任务执行序列的剩余部分所需的预计消耗时长，是否超过当前时刻与所述指定时刻的间隔。

5.如权利要求4所述的方法，所述方法还包括：

若超过，则通过调高预计处理资源、或调短预计消耗时长的方式，为所述第一任务集合中剩余的第一任务重新创建任务执行序列，执行重新创建的任务执行序列所需的预计消耗时长不超过当前时刻与所述指定时刻的间隔。

6.如权利要求1所述的方法，根据多个已完成的历史离线任务各自对应的复杂度、实际任务数据量、实际处理资源、以及实际消耗时长，为离线任务创建复杂度、任务数据量、处理资源和消耗时长之间的对应关系。