[发明专利]一种面向边缘计算环境基于多副本的任务调度方法和系统

权利要求书

1.一种面向边缘计算环境基于多副本的任务调度方法，其特征在于，包括以下步骤：

定期测量和收集每个边缘集群内任务的执行状态，建立本集群的任务时间延迟因子分布概率模型，所述模型描述了集群的资源性能；

基于最短剩余处理时间原则和公平共享原则预估各作业可执行任务需要的副本数，包括：根据最短剩余处理时间原则，将所有作业按照剩余任务数越少优先级越高进行排序；从排序结果中选择前面指定比例ε的作业平等共享整个系统的计算节点；将作业分得的并且可用的计算节点平均分配给该作业当前的就绪任务，任务分得的节点数为其预估副本数，作为该任务可执行副本数的上界；

基于各作业当前进度和集群的资源性能，采用迭代分配方式将各集群的空闲节点，根据预估的副本数，分配给各个任务；

将分配到节点的任务调度到相应的集群来执行；

其中，所述迭代分配方式为任务的预估副本分配执行节点，迭代中每一轮每个任务最多分配一个节点，每一轮中按如下步骤执行：

(1)对作业进行排序，将当前执行阶段剩余任务数更少的作业排在前面；

(2)对一个作业j内的任务进行排序，使用表示在本轮分配之前的轮次中，任务l已经被分配的节点位置情况，本轮依据各任务在前面轮次中获得的执行时间期望值由高至低排序，表示在的副本部署方案下任务l的执行时间；

(3)依次为任务分配节点。

2.根据权利要求1所述的面向边缘计算环境基于多副本的任务调度方法，其特征在于，所述集群的任务时间延迟因子分布概率模型表示为：

j表示作业编号，表示任务l在集群k的执行时间，s_k表示集群k中任务可能经历的延迟因子，被设为一个随机变量，表示该任务的固有时长，表示获取数据的传输时延。

3.根据权利要求1所述的面向边缘计算环境基于多副本的任务调度方法，其特征在于，所述步骤(3)包括：

(3-1)计算任务l的执行时间阈值，设任务l的执行时间阈值为其中为任务l的固有时长，u(t)表示当前系统的节点利用率；

(3-2)当任务l分配到的节点数未超过其预估副本数，且其执行时间期望仍然高于阈值，为该任务分配一节点，该节点是当前所有空闲节点中该任务执行时间最优的节点，表示当前拥有空闲节点的集群集合，则是分配给任务l这一个节点所在的集群，表示任务l在集群k的执行时间，更新

(3-3)当任务l用完其预估副本数，或者其执行时间期望已低于设定的阈值，则不再为该任务分配节点；

(3-4)当当前调度周期内不再有任务需要分配节点时，退出此次迭代。

4.一种面向边缘计算环境基于多副本的任务调度系统，其特征在于，包括作业管理器、资源管理器、集中分配服务器，所述作业管理器用于追踪作业执行进度，将就绪任务集提交给集中分配服务器；所述资源管理器用于收集集群中任务的执行信息，为每个集群建立延迟因子分布模型，捕获各集群资源状态；所述集中分配服务器在接收作业和资源状态后，在线分配在当前调度周期各任务的可用副本以及副本运行节点的位置，并将分配结果返回给作业管理器，由作业管理器将任务在相应的节点上启动运行；其中所述集中分配服务器采用迭代分配方式将各集群的空闲节点，根据预估的副本数，分配给各个任务，所述预估的副本数根据以下方式得到：根据最短剩余处理时间原则，将所有作业按照剩余任务数越少优先级越高进行排序；从排序结果中选择前面指定比例ε的作业平等共享整个系统的计算节点；将作业分得的并且可用的计算节点平均分配给该作业当前的就绪任务，任务分得的节点数为其预估副本数，作为该任务可执行副本数的上界；

其中，所述迭代分配方式为任务的预估副本分配执行节点，迭代中每一轮每个任务最多分配一个节点，每一轮中按如下步骤执行：

(1)对作业进行排序，将当前执行阶段剩余任务数更少的作业排在前面；

(2)对一个作业j内的任务进行排序，使用表示在本轮分配之前的轮次中，任务l已经被分配的节点位置情况，本轮依据各任务在前面轮次中获得的执行时间期望值由高至低排序，表示在的副本部署方案下任务l的执行时间；

(3)依次为任务分配节点。

5.根据权利要求4所述的面向边缘计算环境基于多副本的任务调度系统，其特征在于，所述步骤(3)包括：

(3-1)计算任务l的执行时间阈值，设任务l的执行时间阈值为其中为任务l的固有时长，u(t)表示当前系统的节点利用率；

(3-2)当任务l分配到的节点数未超过其预估副本数，且其执行时间期望仍然高于阈值，为该任务分配一节点，该节点是当前所有空闲节点中该任务执行时间最优的节点，表示当前拥有空闲节点的集群集合，则是分配给任务l这一个节点所在的集群，表示任务l在集群k的执行时间，更新

(3-3)当任务l用完其预估副本数，或者其执行时间期望已低于设定的阈值，则不再为该任务分配节点；

(3-4)当当前调度周期内不再有任务需要分配节点时，退出此次迭代。