[发明专利]一种MapReduce带宽优化方法

说明书

本发明公开了一种MapReduce带宽优化方法，包括：在Hadoop作业提交后，OpenFlow控制器根据JobTracker发送的任务执行节点信息，通过Map中间值路由策略确定执行Map中间值合并任务的节点，更新对应流表项，并发送至OpenFlow交换机，OpenFlow交换机通过安全通道对其接收并安装，然后对接收到的数据包进行流表项匹配，若其与合并Map中间值行为类型匹配，则对Map中间值进行合并。本发明通过结合OpenFlow和Hadoop，利用OpenFlow交换机的数据处理能力，对Map中间值，即经map()函数作用后得到的中间元组数据提前进行合并处理，从而大大缓解了数据迁移过程中的网络拥塞问题，显著提高了Hadoop工作效率。

技术领域

本发明设计属于Hadoop云计算领域，更具体地，涉及一种MapReduce带宽优化方法。

背景技术

MapReduce分布计算需要服务器之间进行大量的一对多或多对多的通信。这使得在目前的技术环境中，数据中心网络经常发生拥塞的状况，从而导致丢包增多、传输时延增大和吞吐量下降。尤其在Hadoop云计算的MapReduce过程中，当主服务器分配好Map任务和Reduce任务后，Map服务器开始进行计算工作，并将计算得出的中间值向Reduce服务器迁移，大量的数据在迁移过程中，很容易造成网络拥塞，使Reduce服务器等待时间过长甚至失败。数据在网络传输的时间严重降低了整体的工作完成效率。针对这个问题，研究者提出了一些优化方案，如MapReduce列存储优化，MapReduce连接优化，MapReduce调度优化等，但上述方案大多存在以下问题：任务调度与资源分配没有分开、调度部署不够自动化、无法很好的根据网络状况优化调度等。

SDN，也就是Software Defined Network，即软件定义网络，由Stanford大学在Clean Slate计划中提出。其设计思想主要是将网络的控制功能和转发功能分离开，解除控制平面和数据平面的耦合，使得控制平面能够更有效的提供统一的网络监控能力。SDN出现之后，学术界开始尝试实现应用层对网络流量的分配，研究最为广泛的是基于SDN的云计算数据中心DCN网络优化。研究人员提出将SDN与Hadoop结合起来，利用SDN的可编程网络管理优势优化Hadoop网络性能。目前Hadoop与SDN相结合的优化方案主要分为以下三个方面：一是通过设置队列优先级来提高Hadoop数据传输效率，二是利用SDN的流量感知和带宽预分配的特点，三是通过SDN改进Hadoop的作业调度算法。但这些方案无法从根本上解决MapReduce过程中数据传输带宽受限的问题。

现有的基于SDN的Hadoop优化方案通常是通过SDN与上层应用结合来合理分配网络流量，或者针对Hadoop的流量特点，将网络层的流量信息反馈到应用层，应用层通过调度算法的改变来规避拥塞路径。但当大量的数据流涌现时，规避拥塞路径也无力改变拥塞的局面。

发明内容

针对现有技术的以上缺陷，本发明提供了一种基于中间值合并的MapReduce带宽优化方法，针对MapReduce数据迁移过程中的网络拥塞问题，将SDN和Hadoop结合起来，利用OpenFlow交换机的数据处理能力，提前合并处理一部分Map中间值，即经map()函数作用后得到的中间元组数据，减少MapReduce作业过程中shuffle阶段的数据流量，从而缩短数据迁移时间，提高Hadoop工作效率。

为实现上述目的，本发明提出了一种MapReduce带宽优化方法，其特征在于，包括以下步骤：

(1)在Hadoop作业提交后，JobTracker向OpenFlow控制器发送任务执行节点信息；

(2)OpenFlow控制器根据接收的所述任务执行节点信息，通过Map中间值数据的路由策略进一步确定执行Map中间值合并任务的节点，更新对应的流表项，将该流表项下发到OpenFlow交换机；