[发明专利]基于改进量子蚁群算法的Spark平台任务调度方法

权利要求书

1.基于改进量子蚁群算法的Spark平台任务调度方法，其特征在于，每个节点设置有节点信息监测模块，Spark平台包括节点信息收集模块、Spark调度器、任务调度管理模块，进行任务调度具体包括以下步骤：

用户提交应用程序后，采用自适应分类器将应用程序分为边缘计算型应用程序或非边缘计算应用程序；

对边缘计算型应用程序，直接在其提交的网络边缘节点处启动，完成调度；

对非边缘计算型应用程序，将节点信息监测模块收集所在节点的CPU利用率、内存利用率与网络传输速度等状态信息并周期性的发送到节点信息收集模块，由节点信息收集模块对其收集的节点状态指标进行更新；

Spark调度器将待调度的任务信息和当前可用的计算资源节点列表发送到任务调度管理模块；

任务调度管理模块从节点信息收集模块获取当前可用的计算资源节点列表的状态信息，再通过任务调度管理模块内置的改进量子蚁群算法来规划调度方案，并将该调度方案返回给Spark调度器，Spark调度器完成调度。

2.根据权利要求1所述的基于改进量子蚁群算法的Spark平台任务调度方法，其特征在于，自适应分类器获取应用程序需要处理的数据文件大小、数据文件类型以及通过代码进行语义分割与识别获取的应用程序中的算子类型，计算得到该应用程序的计算量以及网络传输需求，并将计算量较小而网络传输需求较大的应用程序划分为边缘计算型应用程序，将计算量较大而网络传输需求较小的应用程序划分为非边缘计算型应用程序。

3.根据权利要求1所述的基于改进量子蚁群算法的Spark平台任务调度方法，其特征在于，任务调度管理模块内置的改进量子蚁群算法包括：

S101、初始化，新建信息素矩阵和量子信息素概率幅矩阵，将信息素矩阵的所有元素设定为1，量子信息素概率幅矩阵的每个元素都设定为

S102、通过当前迭代轮次与历史最优蚂蚁更新轮次的差值进行停滞态判断，若蚁群处于停滞态，转到步骤103，反之若蚁群处于正常状态，转到步骤104；

S103、在灾变状态生成种群中的蚂蚁个体，根据设定的灾变比例，通过状态转移规则生成部分蚂蚁，再随机生成另一部分蚂蚁，并将上次更新轮次设置为当前轮次，并转到步骤S105；

S104、通过状态转移规则生成所有蚂蚁，并转到步骤S105；

S105、根据适应度公式分别计算得到每只蚂蚁的适应度，针对每只蚂蚁采用邻域搜索策略进行邻域寻优，若寻到更优解，则更新对应蚂蚁的适应度值，在该轮迭代中寻找适应度最高的蚂蚁个体与历史最优蚂蚁比较，若前者适应度更高，转到步骤106，否则转到步骤107；

S106、将当前轮次迭代中适应度最高的蚂蚁个体记录为历史最优蚂蚁，将历史最优蚂蚁更新的轮次修改为当前轮次，转到步骤107；

S107、通过信息素更新规则更新信息素矩阵和量子信息素概率幅矩阵；

S108、通过最大最小的方法判断量子信息素概率幅是否超过上下限阈值，如果超过，进行量子信息素概率幅更新；

S107、若当前轮次大于等于设定的迭代次数，则结束迭代，输出最优解即历史最优蚂蚁对应的任务调度方案，反之将当前迭代轮次加1，转到步骤102。

4.根据权利要求3所述的基于改进量子蚁群算法的Spark平台任务调度方法，其特征在于，通过当前迭代轮次与历史最优解更新轮次的差值进行停滞态判断包括：

通过当前迭代轮次和历史最优解更新轮次计算停滞轮数为：

停滞轮数＝当前迭代轮次-历史最优对应的迭代轮次；

采用停滞态判断的方法来作为灾变条件，当停滞态为0时种群为正常状态，而停滞态为1时种群处于停滞态，则停滞态表示为：