[发明专利]一种基于Hadoop的大数据处理分析平台

说明书

本发明涉及大数据应用技术领域，提供一种基于Hadoop的大数据处理分析平台，平台架构自下到上依次为：环境运行模块、基础设施模块、基础平台、用户网关模块和客户应用模块，且平台内部相邻模块之间可同通过边界接口进行交互，基础设施模块为基础平台提供基础设施服务，包括命名服务、分布式文件系统和编程模型，基础平台为用户网关模块提供基础服务调用接口；本发明解决了现有技术的大数据处理平台难以应对爆炸式增长、数据结构的复杂的问题。

技术领域

本发明涉及大数据应用技术领域，具体涉及一种基于Hadoop的大数据处理分析平台。

背景技术

伴随Internet和Web技术的飞速发展，网络日志、互联网搜索索引、电子商务、社交网站等技术的广泛使用带来了数据量的急剧增长。计算机技术在各行各业的普遍使用也促使大量数据的产生，如物联网中的传感器所产生的海量数据。近几年数据以惊人的速度增长，这预示我们己经进入大数据时代。大数据时代给我们带来的不仅是数据量的爆炸式增长、数据结构的复杂多样，而且也使处理这些数据信息的手段变的复杂起来。海量数据的存储以及分布式计算是大数据分析与处理的首要问题。

发明内容

解决的技术问题

针对现有技术的不足，本发明提供了一种基于Hadoop的大数据处理分析平台，解决了现有技术的大数据处理平台难以应对爆炸式增长、数据结构的复杂的问题。

技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种基于Hadoop的大数据处理分析平台，所述平台架构自下到上依次为：环境运行模块、基础设施模块、基础平台、用户网关模块和客户应用模块，且平台内部相邻模块之间可同通过边界接口进行交互，所述基础设施模块为基础平台提供基础设施服务，包括命名服务、分布式文件系统和编程模型，所述基础平台为用户网关模块提供基础服务调用接口。

更进一步地，所述环境运行模块采用REHL5.0及以上操作系统，将分布式文件系统的数据目录分布在不同的磁盘分区上。

更进一步地，所述基础设施模块包括Zookeeper集群和Hadoop集群，所述Zookeeper集群为Hadoop集群的命名服务器。

更进一步地，所述基础平台包括任务调度控制台、HBase和Hive。

更进一步地，所述任务调度控制台为编程模型的任务的调度中心，分配各种任务执行的顺序和优先级，用户通过调度控制台提交作业任务，并通过用户网关模块的客户端反馈任务执行的结果。

更进一步地，所述HBase为列数据库，对用户提供表格式的数据访问服务。

更进一步地，所述Hive为一个查询服务端口，用户通过Hive客户端提交类SQL的查询请求，并通过客户端的UI查询结果。

更进一步地，所述用户网关模块用于为终端客户提供个性化的调用接口以及用户的身份认证，是用户唯一可见的大数据平台操作入口。

更进一步地，所述客户应用模块是各种不同的终端应用程序，包括：各种关系型数据库、报表、交易行为分析、对账单和结算。

有益效果

本发明提供了一种基于Hadoop的大数据处理分析平台，与现有公知技术相比，本发明的具有如下有益效果：

大数据平台架构设计采用分层设计，将平台所需提供的服务按照功能划分成不同的模块层次，每一模块层次只与上层或下层的模块层次进行交互，避免跨层的交互，各功能模块的内部是高内聚的，而模块与模块之间是松耦合的；有利于实现平台的高可靠性，高扩展性以及易维护性；在输入数据增长时，只需要在基础设施扩充新的Hadoop节点服务器即可。

附图说明