[发明专利]基于Hadoop的调度方法

说明书

本发明公开了一种基于Hadoop的调度方法，包括Fair scheduler正常调度任务；当有节点Node请求任务时，判断是否存在请求任务的类型，并根据判断结果选定Fair scheduler调度的Container；判断请求任务的节点Node是否被标记，并根据判断结果选定Fair scheduler调度的Container。本发明通过对基于Hadoop的调度过程进行本地化处理，提高了Hadoop的调度方法的时效性，而且本发明方法的可靠性高。

技术领域

本发明属于云计算领域，具体涉及一种基于Hadoop的调度方法。

背景技术

随着经济技术的发展和人们生活水平的提高，互联网已经广泛应用于人们的生产和生活当中，给人们的生产和生活带来了无尽的便利。而随着互联网的发展，接入的数据终端和用户的爆炸性增长，数据量也是指数性的增加，这就给了传统的数据处理方式带来了很大困难。因为在传统数据处理上，数据往往在一个终端处理，这是一种集约化的处理方式，对于一个大数据来说，处理就需要相当长的时间，这显然是不合理的。在此情况下，云计算得以提出，云计算有诸多优势，如超大规模、虚拟化、高可靠性、通用性、高可伸缩性、按需服务、极其廉价，因此云计算也得到了空前发展。

同时针对不同的应用场景，多Hadoop集群的性能有不同的要求，有不同的侧重点，所以针对不同的应用场景优化Hadoop的性能是很有必要的。在Hadoop框架中，所有的作业划分的任务是由调度器来调度的，调度器是一个关键的部件。同时的分布式的集群中，应尽量避免数据在集群中传输，提高数据的本地性。

但是，目前的基于Hadoop的调度方法，其时效性一般，并不能满足日益增长的数据量需求。

发明内容

本发明的目的在于提供一种时效性好且可靠性高的基于Hadoop的调度方法。

本发明提供的这种基于Hadoop的调度方法，包括如下步骤：

S1.Fair scheduler正常调度任务；

S2.当有节点Node请求任务时，判断是否存在请求任务的类型，并根据判断结果选定Fair scheduler调度的Container；

S3.判断请求任务的节点Node是否被标记，并根据判断结果选定Fair scheduler调度的Container。

所述的基于Hadoop的调度方法，还包括如下步骤：当有新的任务请求提交时，所有的标志将被清除。

步骤S2所述的当有节点Node请求任务时，判断是否存在请求任务的类型，并根据判断结果选定Fair scheduler调度的Container，具体为采用如下步骤选定Fairscheduler调度的Container：

当有节点Node请求任务时，判断是否存在请求任务的类型：

若存在请求任务的类型，则优先选择数据存储在该发出请求的节点Node的Container；

若不存在请求任务的类型，则进行步骤S3的判断。

步骤S3所述的判断请求任务的节点Node是否被标记，并根据判断结果选定Fairscheduler调度的Container，具体为采用如下步骤选定Fair scheduler调度的Container：

步骤S2的判断结果为不存在请求任务的类型时，再判断请求任务的节点Node是否被标记：

若请求任务的节点Node未被标记，则选择在该应用程序内传输时间或等待时间最小且传输时间或等待时间小于1的Container作为Fair scheduler调度的Container；若不存在传输时间或等待时间小于1的Container，则放弃此次任务请求；