[发明专利]一种大数据集群资源管理系统的数据空间部署方法和装置有效
申请号: | 202010177875.4 | 申请日: | 2020-03-13 |
公开(公告)号: | CN111427589B | 公开(公告)日: | 2022-12-06 |
发明(设计)人: | 朱永芳 | 申请(专利权)人: | 苏州浪潮智能科技有限公司 |
主分类号: | G06F8/61 | 分类号: | G06F8/61;G06F16/11;G06F16/182;G06F16/27;G06F16/28 |
代理公司: | 北京连和连知识产权代理有限公司 11278 | 代理人: | 刘小峰 |
地址: | 215100 江苏省苏州市吴*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 集群 资源管理 系统 空间 部署 方法 装置 | ||
1.一种大数据集群资源管理系统的数据空间部署方法,其特征在于,包括在所述大数据集群资源管理系统中的每个节点上分别执行以下步骤:
获取Hadoop用户体验组件安装包以安装Hadoop用户体验组件,并激活所述Hadoop用户体验组件中的网页控制台与Hadoop集群交互式数据分析处理功能;
获取集中式安全管理框架安装包并安装集中式安全管理框架,所述集中式安全管理框架以细粒度的数据访问控制所述Hadoop用户体验组件以提供权限控制;
安装与其它节点的使用版本相同的java开发者工具包,并基于所述java开发者工具包获取网络认证协议安装包以安装网络认证协议并提供可信的第三方认证服务;
向数据库中导入所述数据空间,以基于所述网页控制台、所述Hadoop集群交互式数据分析处理功能、所述权限控制、和所述第三方认证服务来存储所述大数据集群资源管理系统的元数据。
2.根据权利要求1所述的方法,其特征在于,在存储所述大数据集群资源管理系统的元数据的所述元数据先检查所述数据空间是否部署完成,包括:
在大数据组件的安装路径的/hue、/ranger、和/kerberos位置下检查是否分别存在相应的所述Hadoop用户体验组件安装包、所述集中式安全管理框架安装包、和所述网络认证协议安装包;
检查所有节点的java开发者工具包的版本是否一致;
进入mysql数据库以检查所述数据空间的数据库是否存在;
响应于上述检查均通过而确认所述数据空间部署完成。
3.根据权利要求2所述的方法,其特征在于,响应于检查到所述Hadoop用户体验组件安装包或所述集中式安全管理框架安装包不存在而重新安装Hadoop用户体验组件或集中式安全管理框架,其中在安装Hadoop用户体验组件或集中式安全管理框架的过程中避免手动修改配置文件、手动安装依赖包、手动启动进程、和手动下载驱动包。
4.根据权利要求1所述的方法,其特征在于,所述Hadoop用户体验组件包括以下至少之一:Hive、Hbase、HDFS;所述Hadoop集群交互式数据分析处理功能包括以下至少之一:操作HDFS上的数据、运行MapReduce Job;所述集中式安全管理框架以细粒度的数据访问控制所述Hadoop用户体验组件包括:为不同的用户和组设置访问HDFS文件夹、HDFS文件、数据库、表或字段的权限策略。
5.根据权利要求1所述的方法,其特征在于,可信的所述第三方认证服务包括执行基于共享密钥的传统认证服务。
6.一种大数据集群资源管理系统的数据空间部署装置,其特征在于,包括:
处理器;和
存储器,存储有处理器可运行的程序代码,所述程序代码在被运行时依次执行以下步骤:
获取Hadoop用户体验组件安装包以安装Hadoop用户体验组件,并激活所述Hadoop用户体验组件中的网页控制台与Hadoop集群交互式数据分析处理功能;
获取集中式安全管理框架安装包并安装集中式安全管理框架,所述集中式安全管理框架以细粒度的数据访问控制所述Hadoop用户体验组件以提供权限控制;
安装与其它节点的使用版本相同的java开发者工具包,并基于所述java开发者工具包获取网络认证协议安装包以安装网络认证协议并提供可信的第三方认证服务;
向数据库中导入所述数据空间,以基于所述网页控制台、所述Hadoop集群交互式数据分析处理功能、所述权限控制、和所述第三方认证服务来存储所述大数据集群资源管理系统的元数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司,未经苏州浪潮智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010177875.4/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置