[实用新型]一种基于Hadoop的海量数据实时分析处理系统

摘要

本实用新型涉及一种基于Hadoop的海量数据实时分析处理系统，该系统包括：多台服务器，其中将所述服务器进行联网，调配成云平台，所述云平台中至少包括：Client服务器，Naming服务器，Map服务器，Reduce服务器；其中，Map服务器，用来部署原始数据，并接收Map Task，执行该任务；Client服务器，用来在接收到用户发起的分析需求时，首先向Naming服务器获取当前Map-Reduce状态，以便制定Job；并在生成Job后，将Reduce Task发给Reduce服务器、Map Task发给Map服务器；Naming服务器，用来在接到Client服务器发起的获取计划需求时，根据获取到的当前的Map服务器、Reduce服务器的状态，产生一个计划表，并与Client服务器通讯以便使得Client服务器接收到计划表后，开始生成Job；Reduce服务器，用来接收Reduce Task，并执行该Task；并在接收到Map Task返回的结果后，读取返回的结果里的Client Key，生成与之对应的Reduce Key，去白板里记录已有一个Map Task完成任务了，并将最终结果返回给Client服务器以便使得Client服务器再将结果以可视化方式展现给终端用户。

主权项

一种基于Hadoop的海量数据实时分析处理系统，该系统包括：多台服务器，并将所述多台服务器进行联网，调配成云平台，所述云平台中至少包括：Client服务器，Naming服务器，Map服务器，Reduce服务器；其中Map服务器，用来部署原始数据，并在接收Map Task时，执行该任务；Client服务器，用来在接收到用户发起的分析需求时，首先向Naming服务器获取当前Map‑Reduce状态，以便制定Job；并在生成Job后，将Reduce Task发给Reduce服务器、Map Task发给Map服务器；Naming服务器，用来在接到Client服务器发起的获取计划需求时，根据获取到的当前的Map服务器、Reduce服务器的状态，产生一个计划表，并与Client服务器通讯以便使得Client服务器接收到计划表后，开始生成Job；Reduce服务器，用来在接收Reduce Task时，执行该Task；并在接收到Map Task返回的结果后，读取返回的结果里的Client Key，生成与之对应的Reduce Key，去白板里记录已有一个Map Task完成任务了，并将最终结果返回给Client服务器以便使得Client服务器再将结果以可视化方式展现给终端用户。