[发明专利]一种基于虚拟存储盘的Hadoop架构及调度策略

权利要求书

1.一种基于虚拟存储盘的Hadoop调度策略，其特征在于，采用基于虚拟存储盘的Hadoop架构进行Hadoop调度，所述Hadoop架构中的节点具有虚拟存储盘和磁盘；所述虚拟存储盘，其用于存储所述节点上map和/或reduce任务对应缓存的溢出数据；所述磁盘，其用于当所述虚拟存储盘已存储的数据达到所述虚拟存储盘的门限时，存储所述溢出数据；所述Hadoop调度策略为，将所述节点上map和/或reduce任务对应缓存的溢出数据存储于所述虚拟存储盘，且当所述虚拟存储盘已存储的数据达到所述虚拟存储盘的门限时，将所述溢出数据存储于所述磁盘；

所述虚拟存储盘未达到所述门限的区域划分有用于存储Hadoop输入输出数据的空间；

将Hadoop输入输出数据存储于所述空间；

所述门限包括第一门限和第二门限，所述第一门限低于所述第二门限；

当所述节点上map或reduce任务对应缓存产生溢出数据时，进行如下操作：

步骤1，判断所述虚拟存储盘已存储的数据是否达到所述虚拟存储盘的第一门限；是，则执行步骤2；否，则执行步骤7；

步骤2，判断所述虚拟存储盘已存储的数据是否达到所述虚拟存储盘的第二门限；是，则执行步骤3；否，则执行步骤6；

步骤3，将所述虚拟存储盘已存储的执行完毕时刻最接近当前时刻的map或reduce任务对应缓存产生的溢出数据转移到所述磁盘；

步骤4，再次判断所述虚拟存储盘已存储的数据是否达到所述虚拟存储盘的第二门限；是，则返回执行步骤3，否，则执行步骤5；

步骤5，再次判断所述虚拟存储盘已存储的数据是否达到所述虚拟存储盘的第一门限；是，则执行步骤6，否则执行步骤7；

步骤6，判断所述虚拟存储盘是否存储有所述map或reduce任务对应缓存产生的溢出数据；是，则执行步骤7；否，则将所述溢出数据存储于所述磁盘，并结束所述操作；

步骤7，将所述溢出数据存储于所述虚拟存储盘，并结束所述操作。

2.根据权利要求1所述一种基于虚拟存储盘的Hadoop调度策略，其特征在于，所述步骤3包括如下步骤：

步骤31，判断所述虚拟存储盘是否存储有执行完毕的reduce任务对应缓存产生的溢出数据；是，则执行步骤32；否，则执行步骤33；

步骤32，将所述虚拟存储盘已存储的执行完毕时刻最接近当前时刻的reduce任务对应缓存产生的溢出数据转移到所述磁盘，并执行步骤4；

步骤33，将所述虚拟存储盘已存储的执行完毕时刻最接近当前时刻的map任务对应缓存产生的溢出数据转移到所述磁盘，并执行步骤4。

3.根据权利要求1或2所述一种基于虚拟存储盘的Hadoop调度策略，其特征在于，所述节点包括主节点和从节点；

当从守护程序发现任一从节点空闲时，所述从守护程序将任务请求发送至所述任一从节点对应的主节点，所述主节点的主守护程序查询所述任一从节点上是否存在已执行但未执行完毕的map或reduce任务；

是，则将所述已执行但未执行完毕的map或reduce任务分配给所述任一从节点执行；

否，则查询所述任一从节点上是否存在未执行的map或reduce任务；是，则将所述未执行的map或reduce任务分配给所述任一从节点执行；否，则将待执行任务列表中排序最前的map或reduce任务分配给所述任一从节点执行。

4.根据权利要求1或2所述一种基于虚拟存储盘的Hadoop调度策略，其特征在于，所述节点包括主节点和从节点；

当任一从节点上的reduce任务执行失败时；所述任一从节点对应的主节点的主守护程序，调用所述reduce任务对应的map任务所在的从节点，将所述map任务的输出数据再次发送至所述任一从节点；如果所述调用失败，所述主守护程序将所述map任务分配给所述map任务所在的从节点以外的其它从节点重新执行。

5.根据权利要求1或2所述一种基于虚拟存储盘的Hadoop调度策略，其特征在于，所述虚拟存储盘配置有tmpfs文件系统。