[发明专利]一种基于Hadoop的海量数据实时分析处理方法

权利要求书

1.一种基于Hadoop的海量数据实时分析处理方法，所述方法包括：

1、将服务器进行联网，调配成云平台，所述云平台中至少包括：Client服务器，Nami ng服务器，Map服务器，Reduce服务器；

2、将原始数据部署到Map服务器；

3、用户向Client服务器发起分析需求，当Client服务器接到客户发起的分析需求时，首先要向Naming服务器获取当前Map-Reduce状态，以便制定Job；

4、当Naming服务器接到Cli ent服务器发起的获取计划需求时，根据获取到的当前的Map服务器、Reduce服务器的状态，产生一个计划表；

5、当Client服务器接收到计划表后，开始生成Job；

6、Client服务器生成完Job后，将Reduce Task发给Reduce服务器，Map Task发给Map服务器；

7、当Map服务器接收到Map Task时，执行该任务；

8、当Reduce服务器接收到Reduce Task时，执行该任务；

9、当Reduce服务器接收到Map Task返回的结果，Reduce服务器读取返回的结果里的Client Key，生成与之对应的Reduce Key，并去白板里记录已有一个Map Task完成任务；

10、Reduce服务器将最终结果返回给Client服务器，Client服务器再将所述结果以可视化方式展现给终端用户。

2.根据权利要求1的基于Hadoop的海量数据实时分析处理方法，其中所述的服务器共有六台，分别被配置成一台Client服务器，一台Naming服务器，三台Map服务器，一台Reduce服务器。

3.根据权利要求1或2的基于Hadoop的海量数据实时分析处理方法，其中所述Naming服务器负责命名工作，其知道当前有多少台Map服务器和Reduce服务器，及这些服务器的配置状况；此外，所述Map服务器和Reduce服务器会定期发送各自配置情况信息。

4.根据权利要求1或2的基于Hadoop的海量数据实时分析处理方法，其中所述每台服务器均开启了伺服进程，由于执行的代码文件集已经被预先部署，当接收到请求时，不用再开启/停止进程；且所述伺服进程能够自行管理，并在线程池中执行任务服务器之间的通讯。

5.根据权利要求1或2的基于Hadoop的海量数据实时分析处理方法，其中所述计划表包含每台服务器的配置情况、任务量、Map服务器预部署的文件信息。

6.根据权利要求1或2的基于Hadoop的海量数据实时分析处理方法，其中所述Client服务器向可用的Reduce服务器发送Reduce Task，如果任务没有被成功送达，表示该Reduce服务器不可用，就需要找下一个Reduce服务器，直到找到可用的为止，如果都不可用，返回错误提示；如果所述Reduce服务器可用，则没宕机，且所述Client服务器把可用Reduce服务器地址加入到Map Task，并发送给Map服务器。