[发明专利]一种基于Hadoop集群的网络预测与调度方法

摘要

本发明提供一种基于Hadoop集群的网络预测与调度方法，通过分析Hadoop运行所产生的中间临时文件，从应用层角度预测网络流量；根据预测的网络流量信息，考虑Hadoop运行时网络流之间的相互依赖关系，以网络流所属Hadoop的作业(Hadoop程序)为单位，按照优先级的高低对网络流进行调度。本发明区别于现有的通常在网络层的预测，采用从应用层直接获得对网络需求，体现了预测的主动性和透明性；采用linux系统提供的实时监测机制，能够快速反映相关文件的变化，在第一时间获取有用信息，体现了快速、提前性的特点。

主权项

一种基于Hadoop集群的网络预测与调度方法，其特征在于，包括以下步骤：第一步，整体Hadoop集群的预测采用C/S模式，在集群的每个节点运行监控程序1)Hadoop采用Map Reduce编程模型，一个Hadoop作业分为map任务和reduce任务，Hadoop作业在map任务的执行结果暂存在相应节点的本地磁盘；利用Linux本身的inotify机制，从Hadoop运行时产生的中间数据中提取Hadoop应用对网络的需求；所述的中间数据的组织形式分为工作目录和日志目录，工作目录和日志目录随Hadoop任务的运行临时创建和删除；2)设计动态监测系统对工作目录和日志目录进行实时监测，分别监测工作目录和日志目录的子目录创建事件，在各自子目录创建其子目录的创建事件，以此类推，直至监测到“attempt_xxxx_xxx”目录和“container_xxxx_xxx”目录；对于工作目录，监测attempt_xxxx_xxx目录下file.out.index的创建事件，按照file.out.index的存储格式解析出该map向每个reduce传输的数据量；对于日志目录，提取出container_xxxx_xxx目录下的作业ID；监测container_xxxx_xxx目录下syslog的修改事件，从syslog的修改事件中提取关于该map与reduce的发送日志信息，解析出目的地址，将提取的时间作为各对map/reduce网络传输的网络时间预测；3)将“源地址，数据量，目的地址，作业ID，时间”的五元组信息发送给中央控制器，中央控制器以作业ID为单位存储预测信息，按照先来先服务的原则，将最先监测到的网络流所属的作业设置为最高优先级，下一个监测到的网络流所属的作业设置为次高优先级，依次类推，将监测到的作业设置相应优先级；所述的源地址为本机IP地址；第二步，根据网络数据流之间的相互关系进行调度根据MapReduce编程模型的特点，采用先来先服务的原则，将同属一个作业的网络数据流当做一个整体，以作业为单位对网络数据流进行调度；将交换机的每个端口的缓冲队列虚拟为多个队列；当交换机接收数据包时，根据数据包所属作业的优先级存入相应缓冲队列，每个优先级的数据包进入相应虚拟缓冲队列中；当相应的虚拟缓冲队列所属的端口发送数据包时，按照优先级的顺序在有缓存的最高优先级的队列中，选择该队列的队头数据包转发出去，达到按照作业的优先级转发数据包的目的。