[发明专利]一种大数据集群资源管理系统的数据空间部署方法和装置

说明书

本发明公开了一种大数据集群资源管理系统的数据空间部署方法和装置，该方法包括：激活Hadoop用户体验组件中的网页控制台与Hadoop集群交互式数据分析处理功能；集中式安全管理框架以细粒度的数据访问控制Hadoop用户体验组件以提供权限控制；安装与其它节点的使用版本相同的java开发者工具包，并基于java开发者工具包安装网络认证协议并提供可信的第三方认证服务；向数据库中导入数据空间，以基于网页控制台、Hadoop集群交互式数据分析处理功能、权限控制、和第三方认证服务来存储大数据集群资源管理系统的元数据。本发明能够自动部署数据空间并检查部署情况，降低出错率，节约人力资源，并提高工作效率。

技术领域

本发明涉及计算机技术领域，更具体地，特别是指一种大数据集群资源管理系统的数据空间部署方法和装置。

背景技术

大数据集群资源管理系统DataSpace(数据空间)允许用户通过界面或 Rest API轻松创建并共享给其他用户使用。但是DataSpace的安装部署却有些复杂，因为它依赖于较多组件，且对安装环境有一定的要求。部署人员要依次检查多个配置项，很是耗时耗力。

针对现有技术中数据空间部署困难的问题，目前尚无有效的解决方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种大数据集群资源管理系统的数据空间部署方法和装置，能够自动部署数据空间并检查部署情况，降低出错率，节约人力资源，并提高工作效率。

基于上述目的，本发明实施例的第一方面提供了一种大数据集群资源管理系统的数据空间部署方法，包括在大数据集群资源管理系统中的每个节点上分别执行以下步骤：

获取Hadoop用户体验组件安装包以安装Hadoop用户体验组件，并激活Hadoop用户体验组件中的网页控制台与Hadoop集群交互式数据分析处理功能；

获取集中式安全管理框架安装包并安装集中式安全管理框架，集中式安全管理框架以细粒度的数据访问控制Hadoop用户体验组件以提供权限控制；

安装与其它节点的使用版本相同的java开发者工具包，并基于java开发者工具包获取网络认证协议安装包以安装网络认证协议并提供可信的第三方认证服务；

向数据库中导入数据空间，以基于网页控制台、Hadoop集群交互式数据分析处理功能、权限控制、和第三方认证服务来存储大数据集群资源管理系统的元数据。

在一些实施方式中，在存储大数据集群资源管理系统的元数据的元数据先检查数据空间是否部署完成，包括：

在大数据组件的安装路径的/hue、/ranger、和/kerberos位置下检查是否分别存在相应的Hadoop用户体验组件安装包、集中式安全管理框架安装包、和网络认证协议安装包；

检查所有节点的java开发者工具包的版本是否一致；

进入mysql数据库以检查数据空间的数据库是否存在；

响应于上述检查均通过而确认数据空间部署完成。

在一些实施方式中，响应于检查到Hadoop用户体验组件安装包或集中式安全管理框架安装包不存在而重新安装Hadoop用户体验组件或集中式安全管理框架，其中在安装Hadoop用户体验组件或集中式安全管理框架的过程中避免手动修改配置文件、手动安装依赖包、手动启动进程、和手动下载驱动包。

在一些实施方式中，Hadoop用户体验组件包括以下至少之一：Hive、 Hbase、HDFS；Hadoop集群交互式数据分析处理功能包括以下至少之一：操作HDFS上的数据、运行MapReduce Job；集中式安全管理框架以细粒度的数据访问控制Hadoop用户体验组件包括：为不同的用户和组设置访问 HDFS文件夹、HDFS文件、数据库、表、字段的权限策略。