[发明专利]一种基于遗传算法的Hadoop作业调度方法

摘要

本发明公开了一种基于遗传算法的Hadoop作业调度方法，首先对作业进行预处理，生成编码解码表，然后生成若干执行作业的初始调度表，对各初始调度表进行适应度检测排序，得到调度表队列，最后对调度表队列中的初始调度表进行遗传操作，形成最终调度表队列；将排在最终的调度表队列最前的调度表作为最优调度表，根据最优调度表分别将不同作业的任务分配到对应的TaskTracker上执行，完成Hadoop作业调度任务。本调度方法在作业调度前无需对平台中的资源进行预设，在调度过程中会动态的采集统计并分配，减轻了管理员的负担；另外，本调度方法能够在作业的总完成时间和作业的平均完成时间两个方面进行控制，既保证了执行作业的公平性，又能确保执行作业效率。

主权项

一种基于遗传算法的Hadoop作业调度方法，其特征在于，按照以下步骤实施：步骤1：对等待调度的作业进行预处理，在JobTracker节点汇总等待调度的作业Jobm和集群中的节点TaskTrackern，对等待调度的作业进行预处理的具体步骤如下：1.1，在JobTracker节点统计出每个作业的分片数lm和它能被调度的最大TaskTracker数bm；1.2，对于每个TaskTracker节点，读取对应配置文件中最大并行slots数sn；1.3，计算||Tmn||，计算公式如下：其中，||Tmn||表示Jobm任务集分配在TaskTrackern上子集中任务的个数，此处用范数表示，Tmn表示Jobm任务集分配在TaskTrackern上的任务子集；步骤2：生成编码解码表；步骤3：根据编码解码表生成若干初始调度表；步骤4：对各初始调度表进行适应度检测排序，得到调度表队列A；步骤5：对调度表队列A中的初始调度表进行遗传操作，形成最终调度表队列；步骤6：选取最终的调度表队列中处于队首的调度表作为最优调度表，然后根据最优调度表分别将不同作业Jobm的任务分配到对应的TaskTrackern上执行，完成Hadoop作业调度任务。