[发明专利]一种MapReduce带宽优化方法

权利要求书

1.一种MapReduce带宽优化方法，其特征在于，包括以下步骤：

(1)在Hadoop作业提交后，JobTracker向OpenFlow控制器发送任务执行节点信息；

(2)OpenFlow控制器根据接收的所述任务执行节点信息，通过Map中间值数据的路由策略进一步确定执行Map中间值合并任务的节点，更新对应的流表项，将该流表项下发到OpenFlow交换机；

(3)OpenFlow交换机通过安全通道接收并安装OpenFlow控制器传来的所述流表项，并对接收到的数据包进行流表项匹配，若数据包与流表项匹配成功，执行流表项中指令行为类型，对Map中间值进行合并；

所述Map中间值数据的路由策略为基于最短路径路由算法的OpenFlow-MapReduce路由策略，具体包括以下步骤：

(2-1)在OpenFlow网络拓扑的全部节点中，通过最短路径路由算法确定数据包源节点s到目的节点t的最短路径P₀；

(2-2)判断P₀中已分配map任务的节点数是否大于1，若否，跳转至步骤(2-3)；若是，则进一步确定P₀中是否有尚未分配Map中间值合并任务的节点，若有，则依次为每个已分配Map任务的节点各选定一个距离其最近且未被占用的节点作为执行Map中间值合并任务的节点，并更新网络拓扑，若无，则跳转至步骤(2-3)；

(2-3)在OpenFlow网络拓扑中，排除已经寻过的路径，重新调用最短路径算法寻找新的最短路径P′₀，判断P′₀中已分配Map任务的节点数是否大于1，若是，则选定并输出该路径，依次为每个已分配Map任务的节点各选定一个距离其最近且未被占用的节点作为执行Map中间值合并任务的节点，更新网络拓扑；若否，则再次执行步骤(2-3)，直至所有最短路径搜索完毕，若仍未找到已分配任务的节点数大于1的路径，则随机选取一条最短路径输出，并更新网络拓扑。

2.根据权利要求1所述的方法，其特征在于，在步骤(2)中，所述Map中间值路由策略是OpenFlow控制器根据Hadoop作业调度结果得到。

3.根据权利要求1所述的方法，其特征在于，在步骤(1)中，所述任务执行节点信息包括源地址端口、目标地址端口、JobID、MapID、ReduceID。

4.根据权利要求1所述的方法，其特征在于，所述步骤(3)具体包括以下步骤：

(3-1)OpenFlow交换机通过安全通道接收并安装OpenFlow控制器传来的流表项；

(3-2)OpenFlow交换机接收到数据包后，先将数据包添加到缓存中，然后对其进行流表项匹配，若数据包匹配到对应的流表项，跳转到步骤(3-3)；若否，则上报给OpenFlow控制器，等待制订Map中间值数据的路由策略后再交由OpenFlow交换机；

(3-3)执行流表项中的指令，若流表项中指令行为是转发，则转发数据包到对应目的端口；若指令行为列表中的行为是OpenFlow交换机中现有行为类型，则按照OpenFlow交换机固有代码执行相应行为；若指令行为类型并非上述两种类型，则判定指令行为列表中的行为类型是系统内核无法处理的类型，跳转到步骤(3-4)；

(3-4)解析数据包包头的MapReduce作业信息，包括JobID、MapID和ReduceID，并转换数据包格式，得到新数据包；

(3-5)针对步骤(3-4)中的新数据包，查询是否有对应的ReduceID队列存在，若存在，则将所述新数据包通过Reduce操作插入队列中等待进行Map中间值合并；若不存在，则将该新数据包放入新队列中等待处理；

(3-6)对Map中间值合并后的数据包进行流水线处理，重新匹配流表，转发给下一跳OpenFlow交换机。

5.根据权利要求4所述的方法，其特征在于，所述OpenFlow交换机中现有行为类型包括更新行为集合、更新数据包、更新匹配域及更新元数据。

6.根据权利要求4所述的方法，其特征在于，所述新数据包中包括：原数据包、原数据包所属的JobID、原数据包即将发往的ReduceID、原数据包的MapID、合并的Map数目、合并过的MapID及数据包存活时间deadline。