[发明专利]一种提升云可靠性的自适应反馈资源调度方法

说明书

本发明提出了一种提升云可靠性的自适应反馈资源调度方法，改进Hadoop平台下的LATE方法，设定快节点集P_f和慢节点集P_s，并根据初步划分出的快节点集P_f和慢节点集P_s计算出快慢节点计算能力差值，并根据快慢节点计算能力差值进一步划分为节点集计算能力优势处理模式、节点集计算能力弱势处理模式进行任务节点的处理；本发明通过上述操作提高资源利用率与负载均衡，同时利用节点的差异值提升备份任务选择的效率与可靠性，利用备份成功/负载比这一参数提升了云计算中任务备份成功执行的可靠性，减少了调度方法运行时间。

技术领域

本发明属于云计算领域，具体地说涉及一种提升云可靠性的自适应反馈资源调度方法。

背景技术

云计算采用了资源池的方式对计算、存储、网络、软件等资源进行统一管理和调度，能够有效解决并行计算与分布式存储的问题。Hadoop是当今主流的云计算平台，可以轻松开发与处理大数据程序。任务调度方法是在合理分配的计算资源与作业任务条件下，求得最优的作业整体执行时间。任务调度方法也与系统的可靠性紧密相关，如果任务调度算法可靠性降低，那么系统的可靠性也会降低。

Hadoop自带的调度方法有先进先出(First In First Out,FIFO)调度方法，公平调度方法，容量调度方法，以及改进的同样基于同构系统的方法，但是同构环境下的调度方法已经不能满足大集群应用的需求。

而最长近似结束时间(Longest Approximate Time to End,LATE)方法是针对异构环境而提出的一种调度方法，其通过预测任务的剩余完成时间，选择资源空闲的快节点为最长剩余完成时间的落后任务启动备份。

目前LATE方法被广泛应用在云平台的资源调度方面。主要有以下几种类型：

2011年，李丽英等人[李丽英,唐卓,李仁发.基于LATE的Hadoop数据局部性改进调度方法[J].计算机科学,2011,38(11):67-70.]提出了一个基于LATE的Hadoop数据局部性改进调度方法，该方法通过考虑数据局部性问题来提高了系统的吞吐率及任务的响应时间，但是因为没有考虑排队论，而要对整个系统进行两次排序会消耗一些时间。

2013年，Xie等人[J Xie,F J Meng,et al.Research on Scheduling Scheme forHadoop clusters[J].Procedia Computer Science,2013,18:2468-2471.]采取预取(Predictive schedule and prefeching,PSP)机制，在将任务分配给计算节点之前自适应地将一定量的数据预加载到内存，这种方式减少了作业响应时间。

2016年，张永等人[张永,贺言君.Hadoop平台下基于截至时间限制的动态调度方法的研究[J].计算机应用研究,2016,33(2):544-548.]提出了个基于截至时间限制的动态调度方法，该方法实时监控作业运行状况，并对作业运行时间进行动态估计，对作业进行优先级处理，从而提高了资源的利用率与吞吐量，但是该方法建立在同构集群环境下，未考虑异构情况。

2016年，王少娟[王少娟.异构环境下改进的LATE调度方法[J].计算技术与自动化,2016,35(4):66-70.]提出了一个异构的改进IR-LATE方法，该方法按负载不同对节点与任务进行分类，同时计算出负载最小且成功/负载比高的节点，该方法提高了备份执行的可靠性，但是作者对快慢节点的阈值没有相应的动态调整，并且在对负载进行分类时候只考虑了Map阶段，忽略了Reduce阶段。

但其也存在下列缺陷：