[发明专利]一种基于Hadoop多作业环境下的资源调度方法

权利要求书

1.一种基于Hadoop多作业环境下的资源调度方法，其特征在于，包括以下步骤：

(1)实时采集集群负载、Hadoop平台以及硬件三方监控信息，并按照数据采集的先后顺序进行存储，生成三方监控输出反馈文件；

(2)实时采集集群各计算节点上用户的作业执行监控信息，生成作业执行监控输出反馈文件；

(3)汇总、解析步骤(1)中得出的三方监控输出反馈文件，建模评估节点的计算能力，并根据计算能力评分的高低将集群计算节点划分为优势计算节点和劣势计算节点；

(4)若节点为优势计算节点，则根据步骤(2)中得出的作业执行监控输出反馈文件启动基于相似度评估的作业任务资源需求配置策略；

(5)若节点为劣势计算节点，则还原为Yarn默认的资源需求配置策略；

所述步骤(3)包括以下子步骤：

(3-1)汇总、解析步骤(1)中得出的三方监控输出反馈文件，在线建模计算节点的计算能力评分，具体采用以下公式：

其中，t表示计算节点的计算能力评分，表示集群在当前监控周期下负载信息，表示在当前监控周期下自定义的Hadoop平台监控信息，suc表示计算节点执行任务的成功率，wait_time表示在该计算节点投放新任务的平均等待时间，response_time表示节点上任务执行的平均响应时间，表示在当前监控周期下节点的硬件监控信息，cpu_util、io_util、mem_util、net_util分别表示计算节点上cpu、磁盘、内存和网络的平均利用率，F_J则是节点计算能力评分t关于三个变量的一个复杂函数；

(3-2)采用排序函数对节点计算能力评分t按照从高到低的顺序进行重新排列，形成计算节点主机名、监控周期序列号和计算能力评分三者之间的映射关系，具体通过以下键值对表示：

(键，值)＝((Host,Monitor_Id),t)

其中，Host表示计算节点主机名，Monitor_Id表示节点所在监控周期的序列号，t表示建模得出的节点计算能力评分；

(3-3)计算集群节点计算能力评分均值at，具体公式如下：

其中，t_z表示计算节点z的计算能力评分，N表示集群计算节点总个数；

(3-4)将排序后的前K个节点判定为集群的优势计算节点，后(N-K)个节点判定为劣势计算节点，其中，N表示当前集群所有节点个数，K表示集群中计算能力评分高于(β*at)的计算节点个数，β取经验值。

2.根据权利要求1所述的基于Hadoop多作业环境下的资源调度方法，其特征在于，所述步骤(1)中，集群负载监控信息和硬件监控信息的采集通过搭建集群分布式监控系统实现，其中集群负载监控信息为计算节点平均负载信息，硬件监控信息包括监控周期内节点cpu、磁盘、内存和网络平均利用率。

3.根据权利要求1或2所述的基于Hadoop多作业环境下的资源调度方法，其特征在于，所述步骤(1)中，Hadoop平台监控信息项的获取通过在计算框架源码中植入监控代码实现，具体包括计算节点上多作业任务执行的成功率、投放新任务的平均等待时间以及任务的平均响应时间。

4.根据权利要求1或2所述的基于Hadoop多作业环境下的资源调度方法，其特征在于，所述步骤(1)中，三方监控输出反馈文件中的每一条监控数据记录表示为：

record＝(Host,Monitor_Id,Load_Info,Platform_Info,Hardware_Info)

其中，Host表示计算节点主机名，Monitor_Id表示计算节点所处监控周期的序列号，Load_Info表示当前时刻计算节点的负载信息，Platform_Info表示计算节点在Hadoop平台上的自定义监控信息，包括多作业任务执行的成功率、投放新任务的平均等待时间以及任务的平均响应时间，Hardware_Info表示节点的硬件监控信息，包括cpu、内存、网络和磁盘平均利用率。