[发明专利]一种基于虚拟存储盘的Hadoop架构及调度策略

摘要

本发明涉及一种基于虚拟存储盘的Hadoop架构及调度策略，所述Hadoop架构中的节点具有虚拟存储盘和磁盘；将节点上map和/或reduce任务对应缓存的溢出数据存储于虚拟存储盘，仅当虚拟存储盘已存储的数据达到虚拟存储盘的门限时，才将溢出数据存储于磁盘；虚拟存储盘的访问速度比磁盘高几个数量级，使用虚拟存储盘会让Hadoop更快的读取数据；且使用虚拟存储盘来存储节点上map和/或reduce任务对应缓存的溢出数据，Hadoop为map和reduce任务配置的缓存依然存在，配置参数不需重新设定；另，虚拟存储盘具有磁盘的读写等功能，可有效避免Hadoop应用代码的修改。

主权项

1.一种基于虚拟存储盘的Hadoop调度策略，其特征在于，采用基于虚拟存储盘的Hadoop架构进行Hadoop调度，所述Hadoop架构中的节点具有虚拟存储盘和磁盘；所述虚拟存储盘，其用于存储所述节点上map和/或reduce任务对应缓存的溢出数据；所述磁盘，其用于当所述虚拟存储盘已存储的数据达到所述虚拟存储盘的门限时，存储所述溢出数据；所述Hadoop调度策略为，将所述节点上map和/或reduce任务对应缓存的溢出数据存储于所述虚拟存储盘，且当所述虚拟存储盘已存储的数据达到所述虚拟存储盘的门限时，将所述溢出数据存储于所述磁盘；/n所述虚拟存储盘未达到所述门限的区域划分有用于存储Hadoop输入输出数据的空间；/n将Hadoop输入输出数据存储于所述空间；/n所述门限包括第一门限和第二门限，所述第一门限低于所述第二门限；/n当所述节点上map或reduce任务对应缓存产生溢出数据时，进行如下操作：/n步骤1，判断所述虚拟存储盘已存储的数据是否达到所述虚拟存储盘的第一门限；是，则执行步骤2；否，则执行步骤7；/n步骤2，判断所述虚拟存储盘已存储的数据是否达到所述虚拟存储盘的第二门限；是，则执行步骤3；否，则执行步骤6；/n步骤3，将所述虚拟存储盘已存储的执行完毕时刻最接近当前时刻的map或reduce任务对应缓存产生的溢出数据转移到所述磁盘；/n步骤4，再次判断所述虚拟存储盘已存储的数据是否达到所述虚拟存储盘的第二门限；是，则返回执行步骤3，否，则执行步骤5；/n步骤5，再次判断所述虚拟存储盘已存储的数据是否达到所述虚拟存储盘的第一门限；是，则执行步骤6，否则执行步骤7；/n步骤6，判断所述虚拟存储盘是否存储有所述map或reduce任务对应缓存产生的溢出数据；是，则执行步骤7；否，则将所述溢出数据存储于所述磁盘，并结束所述操作；/n步骤7，将所述溢出数据存储于所述虚拟存储盘，并结束所述操作。/n