[发明专利]利用WLAN网络组建临时Hadoop环境的方法

摘要

利用WLAN网络组建临时Hadoop环境的方法，步骤为：1）主机开启WLAN热点功能，将此终端的身份设置为Master，等待其余终端连接此WLAN网络；2）从机连接WLAN热点，将此从机设为Slave；3）主机检测到全部从机接入本WLAN网络后测试，主机配置SSH无密码连接，生成并发送SSH公匙到各从机上，等待从机完成相关配置后发送HDFS命令；4）启动Hadoop；5）将数据、运算条件传送给JobClient进程；6）主机的JobClient进程向JobTracker进程请求Job ID；7）将运行作业所需要的资源文件复制到HDFS上；8）主机的JobTracker接收到作业后，等待对其进行调度；9）从机的TaskTracker进程每隔一段时间发起另一个进程，给主机的JobTracker进程发送心跳，获得从机TaskTracker的运行状态；具有环境搭建简单，不受网络条件限制，自由配置主机或从机的特点。

主权项

1.利用WLAN网络组建临时Hadoop环境的方法，其特征在于，包括以下步骤：1）主机开启WLAN热点功能，打开内置Hadoop设置程序将此终端的身份设置为Master，等待其余终端连接此WLAN网络；2）从机关闭其他消耗资源的APP后连接主机提供的WLAN热点，同时打开从机内置Hadoop设置程序将此终端的身份设置为Slave；3）主机检测到所有的从机接入本WLAN网络后进行逐一测试，测试内容包括通过Hadoop Stub能否正常调用底层无线驱动、从机的内存是否足够、从机CPU处理速度是否达到标准，通过测试的从机将进行编号标记，表示该从机可用，同时，主机配置SSH无密码连接，生成并发送SSH公匙到各从机上，等待从机完成相关配置后发送格式化HDFS的命令；4）启动Hadoop；5）用户运行经过分布式数据处理APP将数据、运算条件传送给JobClient进程；6）主机的JobClient进程向JobTracker进程请求一个Job ID；7）将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息，这些文件存放在JobTracker专门为该作业创建的文件夹中，文件夹名为该作业的Job ID，JAR文件默认会有10个副本，输入划分信息告诉JobTracker应该为这个作业启动多少个map任务信息，这些参数可在应用层的Hadoop设置程序中进行调整，所述的参数包含在core‑default.xml、hdfs‑default.xml和mapred‑default.xml文件中的参数；8）主机的JobTracker接收到作业后，将其放在一个作业队列里，等待作业调度器对其进行调度，当作业调度器根据自己的调度算法调度到该作业时，根据输入划分信息为每个作业划分创建一个map任务，并将map任务通过调用主机底层的Hadoop Stub开放接口传输到WLAN网络进而分配给从机的TaskTracker进程执行；对于map和reduce任务，TaskTracker根据主机核的数量和内存的大小有固定数量的map槽和reduce槽分别动态调整；数据本地化机制将map任务分配给含有该map处理的数据块的TaskTracker上，同时将程序JAR包复制到该TaskTracker上运行，分配reduce任务时不考虑数据本地化；9）从机的TaskTracker进程每隔一段时间会发起另一个进程，给主机的JobTracker进程发送一个心跳，主机监听到此信息，获得从机TaskTracker的运行状态，同时心跳中还携带着很多的信息，当JobTracker收到作业的最后一个任务完成的进度信息时，将该作业设置成“成功”；当JobClient查询任务已完成时，显示一条消息给上层数据处理APP。