[发明专利]自动化部署运维Hadoop生态圈组件的方法及系统

摘要

本发明公开了一种自动化部署运维Hadoop生态圈组件的方法及系统。该方法包括：选取一台主机作为主节点，剩余主机作为从节点；主节点上生成单节点配置功能脚本；根据单节点配置功能脚本生成单节点环境配置脚本；主节点上执行单节点环境配置脚本；主节点执行集群免密登录脚本；主节点调用远程分发脚本将单节点环境配置脚本分发到从节点上；主节点控制从节点执行单节点环境配置脚本；主节点调用yum源配置脚本；主节点执行部署安装脚本，主节点和从节点上安装Hadoop生态圈组件；主节点执行预置的管理启动脚本对Hadoop生态圈组件进行停止、启动和重启的管理操作。本发明通过自动化脚本代替人工部署配置，增加大规模部署Hadoop生态圈组件的效率，同时后期运维简单。

主权项

1.一种自动化部署运维Hadoop生态圈组件的方法，其特征在于，包括：选取集群中的一台主机作为主节点，所述集群内剩余主机作为从节点；所述主节点调取预置的配置环境方法脚本，所述配置环境方法脚本根据部署环境的要求生成多个单节点配置功能脚本，其中，所述部署环境为所述集群内主机的工作环境，所述集群内的主机执行一个所述单节点配置功能脚本，能够满足部署Hadoop生态圈组件的一个基础功能；根据多个所述单节点配置功能脚本之间的先后执行顺序生成单节点环境配置脚本，所述集群内的主机执行所述单节点环境配置脚本，能够满足部署Hadoop生态圈组件的环境要求；在所述主节点上执行所述单节点环境配置脚本，使所述主节点满足部署Hadoop生态圈组件的环境要求，其中，执行所述单节点环境配置脚本后所述主节点的防火墙关闭；所述主节点执行预置的集群免密登录脚本，实现所述集群内所有主机之间脚本文件及消息的传输；所述主节点调用预置的远程分发脚本，将所述单节点环境配置脚本分发到所述从节点上；所述主节点向所述从节点发送启动所述单节点环境配置脚本的指令，远程控制所述从节点执行所述单节点环境配置脚本，其中，执行所述单节点环境配置脚本后所述从节点的防火墙关闭；所述从节点将所述单节点环境配置脚本的执行状态发送到日志文件中保存；所述单节点配置功能脚本包括yum源配置脚本，所述主节点调用所述yum源配置脚本，在所述主节点上配置yum源，采用HTTP方式向所述从节点共享同一个所述yum源，其中，所述yum源包括Hadoop生态圈组件的安装包；所述主节点执行预置的部署安装脚本，所述主节点调用所述yum源中的所述Hadoop生态圈组件的安装包，在所述主节点上安装Hadoop生态圈组件，同时，所述主节点向所述从节点发送部署安装的指令，所述从节点调用所述yum源中的所述Hadoop生态圈组件的安装包，在所述从节点上安装Hadoop生态圈组件；所述主节点将所述部署安装脚本的执行状态发送到所述日志文件中保存；所述集群内的主机将各自的运行状态及安装的Hadoop生态圈组件的运行状态进行展示；所述主节点执行预置的管理启动脚本对所述集群内的主机及主机内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。