[发明专利]一种大数据集群资源管理系统的数据空间部署方法和装置有效

专利信息
申请号: 202010177875.4 申请日: 2020-03-13
公开(公告)号: CN111427589B 公开(公告)日: 2022-12-06
发明(设计)人: 朱永芳 申请(专利权)人: 苏州浪潮智能科技有限公司
主分类号: G06F8/61 分类号: G06F8/61;G06F16/11;G06F16/182;G06F16/27;G06F16/28
代理公司: 北京连和连知识产权代理有限公司 11278 代理人: 刘小峰
地址: 215100 江苏省苏州市吴*** 国省代码: 江苏;32
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 数据 集群 资源管理 系统 空间 部署 方法 装置
【权利要求书】:

1.一种大数据集群资源管理系统的数据空间部署方法,其特征在于,包括在所述大数据集群资源管理系统中的每个节点上分别执行以下步骤:

获取Hadoop用户体验组件安装包以安装Hadoop用户体验组件,并激活所述Hadoop用户体验组件中的网页控制台与Hadoop集群交互式数据分析处理功能;

获取集中式安全管理框架安装包并安装集中式安全管理框架,所述集中式安全管理框架以细粒度的数据访问控制所述Hadoop用户体验组件以提供权限控制;

安装与其它节点的使用版本相同的java开发者工具包,并基于所述java开发者工具包获取网络认证协议安装包以安装网络认证协议并提供可信的第三方认证服务;

向数据库中导入所述数据空间,以基于所述网页控制台、所述Hadoop集群交互式数据分析处理功能、所述权限控制、和所述第三方认证服务来存储所述大数据集群资源管理系统的元数据。

2.根据权利要求1所述的方法,其特征在于,在存储所述大数据集群资源管理系统的元数据的所述元数据先检查所述数据空间是否部署完成,包括:

在大数据组件的安装路径的/hue、/ranger、和/kerberos位置下检查是否分别存在相应的所述Hadoop用户体验组件安装包、所述集中式安全管理框架安装包、和所述网络认证协议安装包;

检查所有节点的java开发者工具包的版本是否一致;

进入mysql数据库以检查所述数据空间的数据库是否存在;

响应于上述检查均通过而确认所述数据空间部署完成。

3.根据权利要求2所述的方法,其特征在于,响应于检查到所述Hadoop用户体验组件安装包或所述集中式安全管理框架安装包不存在而重新安装Hadoop用户体验组件或集中式安全管理框架,其中在安装Hadoop用户体验组件或集中式安全管理框架的过程中避免手动修改配置文件、手动安装依赖包、手动启动进程、和手动下载驱动包。

4.根据权利要求1所述的方法,其特征在于,所述Hadoop用户体验组件包括以下至少之一:Hive、Hbase、HDFS;所述Hadoop集群交互式数据分析处理功能包括以下至少之一:操作HDFS上的数据、运行MapReduce Job;所述集中式安全管理框架以细粒度的数据访问控制所述Hadoop用户体验组件包括:为不同的用户和组设置访问HDFS文件夹、HDFS文件、数据库、表或字段的权限策略。

5.根据权利要求1所述的方法,其特征在于,可信的所述第三方认证服务包括执行基于共享密钥的传统认证服务。

6.一种大数据集群资源管理系统的数据空间部署装置,其特征在于,包括:

处理器;和

存储器,存储有处理器可运行的程序代码,所述程序代码在被运行时依次执行以下步骤:

获取Hadoop用户体验组件安装包以安装Hadoop用户体验组件,并激活所述Hadoop用户体验组件中的网页控制台与Hadoop集群交互式数据分析处理功能;

获取集中式安全管理框架安装包并安装集中式安全管理框架,所述集中式安全管理框架以细粒度的数据访问控制所述Hadoop用户体验组件以提供权限控制;

安装与其它节点的使用版本相同的java开发者工具包,并基于所述java开发者工具包获取网络认证协议安装包以安装网络认证协议并提供可信的第三方认证服务;

向数据库中导入所述数据空间,以基于所述网页控制台、所述Hadoop集群交互式数据分析处理功能、所述权限控制、和所述第三方认证服务来存储所述大数据集群资源管理系统的元数据。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司,未经苏州浪潮智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010177875.4/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top