[发明专利]一种MapReduce带宽优化方法

摘要

本发明公开了一种MapReduce带宽优化方法，包括：在Hadoop作业提交后，OpenFlow控制器根据JobTracker发送的任务执行节点信息，通过Map中间值路由策略确定执行Map中间值合并任务的节点，更新对应流表项，并发送至OpenFlow交换机，OpenFlow交换机通过安全通道对其接收并安装，然后对接收到的数据包进行流表项匹配，若其与合并Map中间值行为类型匹配，则对Map中间值进行合并。本发明通过结合OpenFlow和Hadoop，利用OpenFlow交换机的数据处理能力，对Map中间值，即经map()函数作用后得到的中间元组数据提前进行合并处理，从而大大缓解了数据迁移过程中的网络拥塞问题，显著提高了Hadoop工作效率。

主权项

1.一种MapReduce带宽优化方法，其特征在于，包括以下步骤：(1)在Hadoop作业提交后，JobTracker向OpenFlow控制器发送任务执行节点信息；(2)OpenFlow控制器根据接收的所述任务执行节点信息，通过Map中间值数据的路由策略进一步确定执行Map中间值合并任务的节点，更新对应的流表项，将该流表项下发到OpenFlow交换机；(3)OpenFlow交换机通过安全通道接收并安装OpenFlow控制器传来的所述流表项，并对接收到的数据包进行流表项匹配，若数据包与流表项匹配成功，执行流表项中指令行为类型，对Map中间值进行合并；所述Map中间值数据的路由策略为基于最短路径路由算法的OpenFlow‑MapReduce路由策略，具体包括以下步骤：(2‑1)在OpenFlow网络拓扑的全部节点中，通过最短路径路由算法确定数据包源节点s到目的节点t的最短路径P0；(2‑2)判断P0中已分配map任务的节点数是否大于1，若否，跳转至步骤(2‑3)；若是，则进一步确定P0中是否有尚未分配Map中间值合并任务的节点，若有，则依次为每个已分配Map任务的节点各选定一个距离其最近且未被占用的节点作为执行Map中间值合并任务的节点，并更新网络拓扑，若无，则跳转至步骤(2‑3)；(2‑3)在OpenFlow网络拓扑中，排除已经寻过的路径，重新调用最短路径算法寻找新的最短路径P′0，判断P′0中已分配Map任务的节点数是否大于1，若是，则选定并输出该路径，依次为每个已分配Map任务的节点各选定一个距离其最近且未被占用的节点作为执行Map中间值合并任务的节点，更新网络拓扑；若否，则再次执行步骤(2‑3)，直至所有最短路径搜索完毕，若仍未找到已分配任务的节点数大于1的路径，则随机选取一条最短路径输出，并更新网络拓扑。