[发明专利]一种一键安装、管理单节点大数据组件的方法及系统

说明书

本发明公开了一种一键安装、管理单节点大数据组件的方法及系统，具体涉及计算机应用技术领域，包括如下步骤：为hadoop集群内各主机部署集群底层环境资源；选取hadoop集群内一台主机为初始节点，并将其余主机设为二级节点；建立集群内各节点之间的互信通信关系，使主机之间能够实现免密通信；将初始节点上的环境配置上传至日志保存，并将其应用到各二级节点上；对各二级节点进行个性设置，并将设置数据上传至日志保存；监控各节点上的部署状态，并对故障节点进行修复。本发明通过集中式管理模块管理hadoop集群的底层资源，能够实时监控各节点状态，并根据配置信息能够针对性地对故障节点进行快速修复。

技术领域

本发明涉及计算机应用技术领域，更具体地说，本发明涉及一种一键安装、管理单节点大数据组件的方法及系统。

背景技术

随着信息技术的飞速发展，信息时代产生的数据日益在膨胀，Hadoop作为解决大数据领域的重要技术手段，目前被广泛应用着。Hadoop产品最初由Apache基金会进行开源(下文统一称为Apache开源版)，该版本主要用于验证和学习目的，较少用于商用，目前主要安装部署方式是手工安装或者编写批量脚本安装。

随着业务量的增长和业务数据量的增长，在上百台甚至上千上万台集群规模下，需部署Hadoop的机器成千上万后，单纯依靠手动部署已经是不可能。

因此，本发明提出了一种一键安装、管理单节点大数据组件的方法及系统来解决多机器自动部署Hadoop的难题。

发明内容

为了克服现有技术的上述缺陷，本发明的实施例提供一种一键安装、管理单节点大数据组件的方法及系统，通过在单一节点上先行配置hadoop环境，再通过集群部署模块将部署好的环境配置应用到其他节点；另外本发明通过集中式管理模块管理hadoop集群的底层资源，从而更好地对应用到节点的环境配置进行调用和纠错，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种一键安装、管理单节点大数据组件的方法，包括如下步骤：

步骤S101、为hadoop集群内各主机部署集群底层环境资源；

步骤S102、选取hadoop集群内一台主机为初始节点，并将其余主机设为二级节点；

步骤S103、建立集群内各节点之间的互信通信关系，使主机之间能够实现免密通信；

步骤S104、将初始节点上的环境配置上传至日志保存，并将其应用到各二级节点上；

步骤S105、对各二级节点进行个性设置，并将设置数据上传至日志保存；

步骤S106、监控各节点上的部署状态，并对故障节点进行修复。

在一个优选的实施方式中，在步骤S102中，当初始节点为集群主节点时，二级节点均为从节点；反之，则主节点从二级节点中选择。

在一个优选的实施方式中，在步骤S105中，个性化修改为根据某一节点实际规划项与初始节点的对应环境配置的差异进行的修改；具体步骤如下：

步骤S201、确定二级节点与初始节点的配置差异；

步骤S202、查询保存数据中是否有数据差异与步骤S201中的配置差异相同，若有则进行步骤S203，若无则对差异部分进行修改，并进行校验其是否能正常运行；

步骤S203、将与配置差异相同的环境配置分发该二级节点进行应用，以完成个性化修改。

在一个优选的实施方式中，在步骤S106中，对故障节点进行具体修复步骤如下：

步骤S301、确定故障节点的故障时间；