[发明专利]基于Hadoop云计算框架的高效迭代机制设计方法

说明书

本发明属于Hadoop云计算框架研究技术领域，具体涉及Hadoop云计算框架的迭代功能研究设计，尤其涉及一种基于Hadoop云计算框架的高效迭代机制设计方法，包括：在Hadoop云计算框架中设计一个应用程序编程接口API；调用应用程序编程接口API在主节点创建一个循环迭代主体控制模块；调用应用程序编程接口API在从节点对迭代过程中被重复使用的数据进行缓存和索引；为主节点中循环迭代主体控制模块设计任务调度和容错机制。本发明提供一种基于Hadoop云计算框架的高效迭代机制设计方法，设计出一个具备高效迭代机制的E‑Hadoop云计算框架。

技术领域

本发明属于Hadoop云计算框架研究技术领域，具体涉及Hadoop云计算框架的迭代功能研究设计，尤其涉及一种基于Hadoop云计算框架的高效迭代机制设计方法。

背景技术

传统的Hadoop云计算框架并不支持高效的迭代操作，它仅通过一种较为低效的手段实现该操作：首先人为制定一系列MapReduce任务，然后再精心编写相应的驱动程序来指导这些任务的迭代执行。这虽然能够解决海量数据处理或大数据处理中的迭代操作，但是这将产生两个严重问题：1)即使从节点中使用的大部分数据在整个迭代过程并不发生变化，但每次迭代也必须从HDFS中重新下载，这将导致主节点频繁的I/O操作，浪费大量网络资源和CPU资源；2)每次迭代操作之后对迭代终止点的检测需要一个额外的MapReduce任务，这将导致Hadoop云计算框架每次迭代都要浪费一次网络资源和CPU资源。这两个问题都大大降低了该云计算框架迭代操作的性能，进而降低了处理海量数据或大数据的性能。

发明内容

本发明的目的在于克服上述传统的Hadoop云计算框架中迭代功能方面的不足，探索提高Hadoop云计算框架迭代性能的方法，提供了一种基于Hadoop云计算框架的高效迭代机制设计方法，设计出一个具备高效迭代机制的E-Hadoop云计算框架。

为了实现上述目的，本发明采用以下技术方案：

基于Hadoop云计算框架的高效迭代机制设计方法，一个Hadoop云计算平台有多个节点，其中所述节点分为主节点和从节点，所述Hadoop云计算平台为搭建了Hadoop云计算框架的多台主机或服务器，包括以下步骤：

步骤1：在Hadoop云计算框架中创建一个用于简化MapReduce迭代程序编写的应用程序编程接口API；

步骤2：调用应用程序编程接口API，在主节点创建一个循环迭代主体控制模块；

步骤3：调用应用程序编程接口API，在从节点对迭代过程中被重复使用的数据进行缓存和索引；

步骤4：为主节点中循环迭代主体控制模块设计任务调度和容错机制，包括：

步骤4.1：对Hadoop云计算框架中的任务调度机制进行设计，包括：

步骤4.1.1：在主节点存储从节点到主节点所使用过的数据之间的映射关系；

步骤4.1.2：主节点接收从节点发送的Heartbeat信号；

步骤4.1.3：主节点检查从节点是否空闲，若是，则主节点为该从节点指派一个任务，并且在该任务执行过程中使用该从节点中缓存的数据；若否，则主节点指派该任务给其他从节点；

步骤4.2：对Hadoop云计算框架中的容错机制进行设计，包括：

步骤4.2.1：主节点周期性地Ping从节点，检查从节点的状态是否可用，当检测到从节点失效时，则将在该从节点上正在执行或已完成的Map任务置为空闲状态，并将该Map任务分配给其他从节点执行；