[发明专利]一种基于Hadoop的大数据处理分析平台在审
申请号: | 201910078668.0 | 申请日: | 2019-01-28 |
公开(公告)号: | CN111490999A | 公开(公告)日: | 2020-08-04 |
发明(设计)人: | 裘俊 | 申请(专利权)人: | 上海菲碧文化传媒有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 上海宏京知识产权代理事务所(普通合伙) 31297 | 代理人: | 周高 |
地址: | 201407 上海市奉*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 hadoop 数据处理 分析 平台 | ||
1.一种基于Hadoop的大数据处理分析平台,其特征在于,所述平台架构自下到上依次为:环境运行模块、基础设施模块、基础平台、用户网关模块和客户应用模块,且平台内部相邻模块之间可同通过边界接口进行交互,所述基础设施模块为基础平台提供基础设施服务,包括命名服务、分布式文件系统和编程模型,所述基础平台为用户网关模块提供基础服务调用接口。
2.根据权利要求1所述的一种基于Hadoop的大数据处理分析平台,其特征在于,所述环境运行模块采用REHL5.0及以上操作系统,将分布式文件系统的数据目录分布在不同的磁盘分区上。
3.根据权利要求1所述的一种基于Hadoop的大数据处理分析平台,其特征在于,所述基础设施模块包括Zookeeper集群和Hadoop集群,所述Zookeeper集群为Hadoop集群的命名服务器。
4.根据权利要求1所述的一种基于Hadoop的大数据处理分析平台,其特征在于,所述基础平台包括任务调度控制台、HBase和Hive。
5.根据权利要求4所述的一种基于Hadoop的大数据处理分析平台,其特征在于,所述任务调度控制台为编程模型的任务的调度中心,分配各种任务执行的顺序和优先级,用户通过调度控制台提交作业任务,并通过用户网关模块的客户端反馈任务执行的结果。
6.根据权利要求1所述的一种基于Hadoop的大数据处理分析平台,其特征在于,所述HBase为列数据库,对用户提供表格式的数据访问服务。
7.根据权利要求1所述的一种基于Hadoop的大数据处理分析平台,其特征在于,所述Hive为一个查询服务端口,用户通过Hive客户端提交类SQL的查询请求,并通过客户端的UI查询结果。
8.根据权利要求1所述的一种基于Hadoop的大数据处理分析平台,其特征在于,所述用户网关模块用于为终端客户提供个性化的调用接口以及用户的身份认证,是用户唯一可见的大数据平台操作入口。
9.根据权利要求1所述的一种基于Hadoop的大数据处理分析平台,其特征在于,所述客户应用模块是各种不同的终端应用程序,包括:各种关系型数据库、报表、交易行为分析、对账单和结算。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海菲碧文化传媒有限公司,未经上海菲碧文化传媒有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910078668.0/1.html,转载请声明来源钻瓜专利网。