[发明专利]基于改进量子蚁群算法的Spark平台任务调度方法

说明书

本发明涉及资源分配与任务调度领域，尤其涉及一种基于改进量子蚁群算法的Spark平台任务调度方法，包括节点信息监测模块收集所在节点的CPU利用率、内存利用率与网络传输速度等状态信息并周期性的发送到节点信息收集模块，由节点信息收集模块对其收集的节点状态指标进行更新；Spark调度器将待调度的任务信息和当前可用的计算资源节点列表发送到任务调度管理模块；任务调度管理模块从节点信息收集模块获取当前可用的计算资源节点列表的状态信息，再通过任务调度管理模块内置的改进量子蚁群算法来规划调度方案，并将该调度方案返回给Spark调度器，Spark调度器完成调度；本发明可以有效缩短任务执行时间跨度，提高任务执行效率。

技术领域

本发明涉及资源分配与任务调度领域，尤其涉及一种基于改进量子蚁群算法的Spark平台任务调度方法。

背景技术

在大数据领域中存在一系列的大数据处理平台，如Hadoop、Spark、Storm、 Flink等，其中由Apache开源的分布式计算集群Spark平台以其高通用性、高易用性以及其基于内存计算所带来的高运算速度在业界已经得到广泛的普及与应用。而边缘计算模型的出现让原有的大数据处理平台更加灵活和高效，现在几乎所有的电子设备都可以连接到互联网并产生海量的数据，而直接在在边缘节点处理这些数据可以显著减少响应时间和网络负载，所以将大数据平台和边缘计算结合现已成为业界的研究趋势。

但随着Spark平台在业界的广泛应用，人们对其性能的要求也越来越高。 Spark平台任务调度机制的目的主要是将需要执行的计算任务合理的分配到当前可用的计算资源(节点)上，而在平台本身的任务调度机制中，任务的调度主要是基于数据本地化进行的，也就是优先将任务在该任务对应的数据文件所在的节点启动，等待一定时间仍无法启动之后再调度到其他的节点上运行。但在实际的生产环境中，集群中的节点往往因为地理位置各异、配置更新、集群扩容等原因而具有较高的异构性，节点能力之间或存在较大差异，仅仅考虑数据本地化的任务调度方式可能造成集群中低性能节点任务分配较多，而高性能节点处于空闲状态的节点负载不均衡问题，从而导致整体任务时间跨度高，任务执行效率低，集群计算资源利用不充分的情况。

所以当前众多学者针对上述问题提出了一系列Spark平台的优化任务调度方法，如可以根据应用程序数量和输入输出完成时间建模的可插拔资源分配框架dSpark、基于任务本地化优先的延迟调度算法、比较任务剩余时间找出集群中的落后任务并在其他优势节点启动备份的LATE(longest approximate time to end)调度算法等，但是仍然存在两个待优化的方面。一是对于Spark平台的研究算法大多基于同构集群或待调度作业本身，而当前实际的作业环境大多存在较高的节点异构性，所以如何更合理的衡量计算节点的能力。二是在作业调度算法本身，如何找到更优的分配方式将任务调度到节点执行以达到加速应用程序执行效率，提高集群计算资源利用率。

发明内容

为了更加准确获知节点的计算能力，将任务调度到节点执行以达到加速应用程序执行效率，本发明提出一种基于改进量子蚁群算法的Spark平台任务调度方法，，每个节点设置有节点信息监测模块，Spark平台包括节点信息收集模块、 Spark调度器、任务调度管理模块，进行任务调度具体包括以下步骤：

用户提交应用程序后，采用自适应分类器将应用程序分为边缘计算型应用程序或非边缘计算应用程序；

对边缘计算型应用程序，直接在其提交的网络边缘节点处启动，完成调度；

对非边缘计算型应用程序，将节点信息监测模块收集所在节点的CPU利用率、内存利用率与网络传输速度等状态信息并周期性的发送到节点信息收集模块，由节点信息收集模块对其收集的节点状态指标进行更新；

Spark调度器将待调度的任务信息和当前可用的计算资源节点列表发送到任务调度管理模块；