[发明专利]一种基于Hadoop多作业环境下的资源调度方法

摘要

本发明公开了一种基于Hadoop多作业环境下的资源调度方法，包括：(1)实时采集集群负载、Hadoop平台以及硬件三方监控信息，(2)实时采集集群各计算节点上用户的作业执行监控信息，(3)汇总集群三方监控数据，建模评估节点的计算能力，并将集群节点划分为优势计算节点和劣势计算节点，(4)若节点为优势计算节点，则启动基于相似度评估的作业任务资源需求配置策略，(5)若节点为劣势计算节点，则还原为Yarn默认的资源需求配置策略。本发明解决了Yarn现有资源调度器中任务资源需求划分粒度过大导致的资源碎片问题，能够综合考虑集群节点和作业的异构性，通过合理、有效地分配节点资源增加集群执行并发度，从而提高Hadoop集群多作业的执行效率。

主权项

一种基于Hadoop多作业环境下的资源调度方法，其特征在于，包括以下步骤：(1)实时采集集群负载、Hadoop平台以及硬件三方监控信息，并按照数据采集的先后顺序进行存储，生成三方监控输出反馈文件；(2)实时采集集群各计算节点上用户的作业执行监控信息，生成作业执行监控输出反馈文件；(3)汇总、解析步骤(1)中得出的三方监控输出反馈文件，建模评估节点的计算能力，并根据计算能力评分的高低将集群计算节点划分为优势计算节点和劣势计算节点；(4)若节点为优势计算节点，则根据步骤(2)中得出的作业执行监控输出反馈文件启动基于相似度评估的作业任务资源需求配置策略；(5)若节点为劣势计算节点，则还原为Yarn默认的资源需求配置策略；所述步骤(3)包括以下子步骤：(3‑1)汇总、解析步骤(1)中得出的三方监控输出反馈文件，在线建模计算节点的计算能力评分，具体采用以下公式：$t=F_J(\stackrel{\→}{ll},\stackrel{\→}{pw},\stackrel{\→}{hw})$$\stackrel{\→}{pw}=(suc,wait\_time,response\_time)$$\stackrel{\→}{hw}=(cpu\_util,io\_util,mem\_util,net\_util)$其中，t表示计算节点的计算能力评分，表示集群在当前监控周期下负载信息，表示在当前监控周期下自定义的Hadoop平台监控信息，suc表示计算节点执行任务的成功率，wait_time表示在该计算节点投放新任务的平均等待时间，response_time表示节点上任务执行的平均响应时间，表示在当前监控周期下节点的硬件监控信息，cpu_util、io_util、mem_util、net_util分别表示计算节点上cpu、磁盘、内存和网络的平均利用率，F_J则是节点计算能力评分t关于三个变量的一个复杂函数；(3‑2)采用排序函数对节点计算能力评分t按照从高到低的顺序进行重新排列，形成计算节点主机名、监控周期序列号和计算能力评分三者之间的映射关系，具体通过以下键值对表示：(键，值)＝((Host,Monitor_Id),t)其中，Host表示计算节点主机名，Monitor_Id表示节点所在监控周期的序列号，t表示建模得出的节点计算能力评分；(3‑3)计算集群节点计算能力评分均值at，具体公式如下：$at=\frac{\underset{z=1}{\overset{N}{\Σ}}{t}_z}{N}$其中，t_z表示计算节点z的计算能力评分，N表示集群计算节点总个数；(3‑4)将排序后的前K个节点判定为集群的优势计算节点，后(N‑K)个节点判定为劣势计算节点，其中，N表示当前集群所有节点个数，K表示集群中计算能力评分高于(β*at)的计算节点个数，β取经验值。