[发明专利]一种基于MapReduce的数据预取方法

权利要求书

1.一种基于MapReduce的数据预取方法，在拥有n个物理计算节点的集群上，针对得到调度的某个具体作业A，在其实施过程中按以下方法进行数据预取：

步骤1：由于集群有同构和异构之分，在计算尚未开始时假设集群是同构的，即假设所有计算节点的计算性能P_i均为1，其中i∈[1,n]；对于作业A，假设该作业对应的数据块个数为b个，且每个数据块在HDFS上的默认备份数为3，设各计算节点上的数据块个数为F_Ti，则总数据块数量∑F_Ti＝3b；

为每个计算节点分配第一轮任务，即为每个物理计算节点分配一个数据块，每个计算节点处理其分配到的第一个计算任务，并计算每个物理计算节点处理各自申请的第一个计算任务所需要的时间，由此得到每个物理计算节点的实际计算性能RP_Ti，其中i＝1,…,n；

步骤2：统计各计算节点针对作业A还需要处理的任务个数PB_Ti；

步骤3：计算各计算节点完全本地化的概率LP，第i个计算节点完全本地化的概率LP_Ti＝L_Ti/PB_Ti，其中L_Ti为第i个计算节点当前未处理的本地化数据块数量；

步骤4：在作业A的任务执行过程中，时刻监测所有计算节点的本地化概率LP值，将所有计算节点按照LP值由低至高进行排序得计算节点序列；

步骤5：若所述计算节点序列中第一个计算节点的LP值不小于1，则不作任何操作；

若作业A的执行过程中，所述计算节点序列中的前f个节点的LP值小于1，f≥1，将节点记为T₁、…、T_f，执行步骤6至步骤12所述的数据预取过程；根据设计要求，节点T₁至少还需要分配a＝PB_T1-L_T1个数据块到其本地其LP值才不小于1；

步骤6：锁定节点T₁上的所有本地数据块，且节点T₁的所有本地数据块在其他节点上对应的数据块备份都不能被调度，已锁定的数据块在其他节点上的备份数据块不能参与到所有节点的本地化概率LP的计算中；

步骤7：针对剩余的n-1个计算节点，按步骤6所述条件重新计算各自的本地化概率LP，并按照LP值由低至高进行排序得新的计算节点序列T₂、…、T_n；

步骤8：在新的节点序列T₂、…、T_n中，从其最后一个计算节点T_n开始由后向前选取一个最先同时满足以下三个条件的节点T_t并从该节点选取一个满足以下条件的数据块b_t：

1)所述节点T_t的本地化概率LP_t大于1；

2)从节点T_t提取一个数据块b_t，且该数据块b_t的备份数据块所在节点的本地化概率均大于1；

3)将数据块b_t从节点T_t中剔除，重新计算节点T_t的本地化概率LP_{t_2}，此时新的本地化概率LP_{t_2}不小于1；数据块b_t的备份数据块所在的节点也要满足上述要求，即把所述备份数据块从其所在节点中剔除，并重新计算这些节点的本地化概率，计算所得的本地化概率均不小于1；

步骤9：将满足步骤8所述三个条件的数据块b_t从其原先所在的节点预取至节点T₁中；

步骤10：重复执行至少a次步骤6至步骤9的操作过程，使节点T₁的本地化数据块数量至少增加a个，由此使得节点T₁的本地化概率LP不小于1，即节点T₁已完全本地化；

步骤11：在完成节点T₁的完全本地化之后，锁定节点T₁上的所有本地数据块，且节点T₁的所有本地数据块在其他节点上对应的备份数据块都不能被调度，已锁定的数据块在其他节点上的备份数据块不能参与到所有节点的本地化概率LP的计算中；

步骤12：针对剩余的n-1个计算节点，按步骤11的条件重新计算各个节点的本地化概率LP值并按照LP值由低至高进行排序构建新的计算节点序列，按步骤5至步骤11所述方法对本步骤所得的新的计算节点序列进行操作；

按上述方法，可使所有计算节点的本地化概率LP值不小于1，由此完成数据预取过程。

2.根据权利要求1所述的基于MapReduce的数据预取方法，其特征在于，具体按照以下方法实现步骤1所述的为每个计算节点分配第一轮任务：以各计算节点的关于作业A的本地化数据块数量为参量建立小顶堆并进行作业A的第一轮任务分配，即为每个物理计算节点分配一个数据块；第一轮任务分配过程中，首先对位于小顶堆堆顶对应的计算节点分配任务，然后对剩余的尚未分配的各计算节点重新构建小顶堆，并对新的小顶堆堆顶对应的计算节点分配任务，按上述方法进行重复操作直至所有物理计算节点均分配到第一个计算任务。