[发明专利]一种基于虚拟机动态迁移的高性能MapReduce实现方法

摘要

本发明公开了一种基于虚拟机动态迁移的高性能MapReduce实现方法，通过应用CloudStack的虚拟机云管理平台实时监控集群状态，对split数据分块进行抽样，统计Reduce任务所在虚拟机上接收到的每一个key值对应的Map任务源，获得生成key值最多的Map任务源；以获得的Map任务源所在虚拟机的物理机器作为对应Reduce任务所在虚拟机的迁移目标；为核心，通过虚拟机动态迁移实现Reduce任务尽可能本地化地接收相同key值的Map任务的输出，节约网络带宽。

主权项

一种基于虚拟机动态迁移的高性能MapReduce实现方法，其特征在于，包括以下步骤：步骤1：在物理服务器上构建具有虚拟机的分布式运行Hadoop系统；步骤2：用户Client向步骤1所述Hadoop系统提交作业，Hadoop系统将作业分解为split数据分块；步骤3：从split数据分块中依据规则抽取样本元素，然后将所有抽取的样本元素作为模拟样本组；步骤4：由Map任务对模拟样本组进行处理，得到每个split数据分块所对应生成的键值对<key，value>，并按照key值对数据进行分区，从而产生分区partition；步骤5：每一个partition由一个Reduce任务进行处理，依次统计Reduce任务所在虚拟机上接收到的每一个key值对应的Map任务源，获得生成key值最多的Map任务源；步骤6：以步骤5获得的Map任务源所在虚拟机的物理机器作为对应Reduce任务所在虚拟机的迁移目标；步骤7：对其他Reduce任务重复步骤5和步骤6，获得整个Hadoop系统内所有虚拟机的迁移路径的集合对应虚拟机迁移网络拓扑图；所述步骤1中虚拟机的构建采用CloudStack虚拟机云管理平台安装在物理服务器集群上创建多个独立的虚拟机，所有虚拟机由CloudStack虚拟机云管理平台管控和监测，每个虚拟机以单独的操作系统运行Hadoop MapReduce任务。