[发明专利]一种云计算环境下大数据节点的自动部署方法及其装置

说明书

技术领域

本发明涉及云计算技术领域，尤其涉及一种云计算环境下大数据节点的自动部署方法及其装置。

背景技术

大数据产品Hadoop系统的常用组件Zookeeper、DataNode、NameNode、Hive、Hbase。在云计算环境下安装部署需要下载源代码，人工在每台虚拟机编译并拷贝到相应目录，根据环境修改系统变量及hadoop配置文件，手工启动，执行一些初始化脚本并调整运行参数，整个步骤比较复杂繁琐。

Hadoop是开源产品，apache并不提供页面部署功能，在当前情况下，基本需要人工部署，最基础的HDFS结构如图1所示。如图1所示，HDFS节点分为NameNode和DataNode，其中，activeNameNode是主控节点，所以需要一个备份节点（StandByNameNode），DataNode是数据存储节点，大部分实际环境是20个节点以上。要部署上面最基本的运行环境，需要：1）先建立hadoop用户组并建立hadoop用户；2）设置多个节点间SSH访问权限；3）下载hadoop并编译；4）在修改hadoop中的core-site.xml、hdfs-site.xml、mapred-site.xml，slave、master等配置文件；5）修改hadoop-env.sh启动文件，配置Jdk路径；6）再执行启动脚本并检查各项进程是否正确；7）所有进程正常启动后，还要执行初始化脚本格式化NameNode。

现有技术存在以下缺点：

（1）大数据集群至少几十个节点，所有配置文件都是手工修改，难批量操作，耗时多，容易出错；整个处理过程比较繁琐，需要配置各项配置文件，即使比较熟悉的人进行操作也需要大量时间，节点越多的群架则需要更多的时间；

（2）开源产品版本升级较快，一年时间内通常有几个大版本、十几个小版本出现，而整个集群涉及的模块也非常多，版本管理比较困难集群运行一段时间再新增节点时，新节点的版本如果和其它节点版本有差别，容易导致版本不兼容；

（3）拥有大量机器的集群，系统经常会因为网络、硬盘等硬件原因导致节点异常，需要人工排查，硬件的损坏也需要人员进行更换，需要投入的人员跟节点数量成正比，因为是对运行系统进行维护，需要投入很大的人力，对人员的能力也有很高的要求。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种云计算环境下大数据节点的自动部署方法及其装置，为大数据提供统一的部署、监控、维护、操作页面，降低云计算环境下的大数据维护部署难度和工作量。

为了解决上述问题，本发明提出了一种云计算环境下大数据节点的自动部署方法，所述方法包括：

调用预设的虚拟机模板，搭建大数据运行环境；

将大数据产品进行组件封装，获得云计算管理平台的大数据组件；

通过统一接口在所述大数据运行环境中对所述大数据组件进行操作。

优选地，所述方法还包括：构建所述统一接口。

优选地，所述大数据组件包括安装文件、配置文件、启动文件、接口实现。

优选地，在所述调用预设的虚拟机模板，搭建大数据运行环境的步骤之前，还包括：

对大数据运行环境进行模板化处理，获得虚拟机模板。

优选地，所述操作包括：代理、监控、控制、管理中的一种或多种。

相应地，本发明还提供一种云计算环境下大数据节点的自动部署装置，所述装置包括：

搭建模块，用于调用预设的虚拟机模板，搭建大数据运行环境；

封装模块，用于将大数据产品进行组件封装，获得云计算管理平台的大数据组件；

操作模块，用于通过统一接口在所述大数据运行环境中对所述大数据组件进行操作。

优选地，所述装置还包括：构建模块，用于构建所述统一接口。

优选地，所述大数据组件包括安装文件、配置文件、启动文件、接口实现。

优选地，所述装置还包括：模板化模块，用于对大数据运行环境进行模板化处理，获得虚拟机模板。

优选地，所述操作模块包括：

代理单元，用于远程接口调用；

监控单元，用于对所述大数据组件的运行状态进行监控；

控制单元，用于部署、操作命令的执行；

管理单元，用于进行用户操作交互。