[发明专利]一种自适应任务调度器及方法

摘要

本发明公开一种自适应任务调度器及方法，属于分布式流处理系统负载均衡调度技术领域，该调度器主要包括性能监控数据采集模块、平滑加权轮询任务调度模块以及基于蚁群算法的任务调度模块，采用本发明的自适应任务调度器进行任务调度的方法在任务运行初始阶段，采用平滑加权轮询任务调度算法，根据节点的权重分配任务，在保证选中次数不变的情况下，使得节点不被连续选中；当集群的负载超过设定阈值的时候，为避免拖延任务集合的整体完成时间，使用基于蚁群算法的负载均衡算法在一定的迭代次数内计算出最优的任务分配方案，待集群资源降低到设定阈值下时候，继续采用平滑加权轮询算法。

主权项

1.一种自适应任务调度器，其特征在于包括：性能监控数据采集模块、平滑加权轮询任务调度模块以及基于蚁群算法的任务调度模块；/n所述性能监控数据采集模块包括：节点CPU利用率监控数据采集单元、节点内存利用率监控数据采集单元、监控数据上传单元、监控数据存储单元和API接口开放单元；/n所述节点CPU利用率监控数据采集单元通过计算空闲时间周期和总的时钟周期来计算CPU利用率；/n所述节点内存利用率监控数据采集单元通过计算空闲的内存空间和总的内存空间来计算内存利用率；/n所述监控数据上传单元通过使用Netty网络通信框架，将每个集群中Slave节点的CPU利用率和内存利用率上传给集群中Master节点；/n所述监控数据存储单元使用Redis内存KV数据库存储性能数据，并配置LRU的模式，保存最近的数据，能够加快监控数据的访问；/n所述API接口开放单元通过使用Web技术，开放出Http的接口，供集群通过HttpClient调用；/n所述平滑加权轮询任务调度模块用于在初始调度时采用平滑轮询任务调度算法达到集群负载均衡；/n所述基于蚁群算法的任务调度模块用于当集群中整体资源使用达到规定阈值时，计算出全局最优任务分配方案供后续的任务分配使用，当集群资源降到阈值以下，则继续采用所述平滑加权轮询任务调度算法对任务进行分配。/n