[发明专利]一种基于智能规划安装大数据软件的方法

说明书

本发明公开了一种基于智能规划安装大数据软件的方法，现有的手动配置服务实现数据平台安装，需要实现的步骤有：第一步，手动设置服务器环境，如关闭selinux，防火墙等。第二步，手动配置安装参数。第三步，手动执行安装命令。第四步，如果资源不满足服务运行要求，则需要再次手动调整。本方案区别于现有技术，提出一种可以根据软硬件资源信息智能规划安装hadoop大数据产品的方法，自动配置大数据软件的各项服务，达到合理分配资源安装大数据产品，降低运维成本；解决了手动配置安装大数据管理系统的服务，存在配置复杂，操作容易出现失误，失败后需要花费大量时间进行解决，对操作人员要求较高的问题。

技术领域

本发明涉及大数据领域，特别涉及一种基于智能规划安装大数据软件的方法。

背景技术

CDH是Apache Hadoop和相关项目的最完整，经过测试的流行发行版。CDH提供了Hadoop的核心元素-可扩展的存储和分布式计算-以及基于Web的用户界面和重要的企业功能。CDH是Apache许可的开放源码，是唯一提供统一批处理，交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。

Cloudera作为一个数据中心管理工具，提供了各种能够快速稳定运行的数据计算框架，如Apache Spark；使用Apache Impala做为对HDFS，HBase的高性能SQL查询引擎；也带了Hive数据仓库工具帮助用户分析数据；用户也能用Cloudera管理安装HBase分布式列式NoSQL数据库；Cloudera还包含了原生的Hadoop搜索引擎以及Cloudera NavigatorOptimizer 去对Hadoop上的计算任务进行一个可视化的协调优化，提高运行效率；同时Cloudera中提供的各种组件能让用户在一个可视化的UI界面中方便地管理，配置和监控Hadoop以及其它所有相关组件，并有一定的容错容灾处理。

现有的Cloudera CDH等大数据产品的安装，一般手动配置安装大数据管理系统的服务，存在配置复杂，操作容易出现失误，失败后需要花费大量时间进行解决，对操作人员要求较高的问题。

发明内容

本发明的目的在于：提供了一种基于智能规划安装大数据软件的方法，解决了手动配置安装大数据管理系统的服务，存在配置复杂，操作容易出现失误，失败后需要花费大量时间进行解决，对操作人员要求较高的问题。

本发明采用的技术方案如下：

一种基于智能规划安装大数据软件的方法，包括依次进行的以下步骤：

S1、配置需要安装大数据软件的服务器的连接信息；

S2、根据步骤S1配置的连接信息在各个服务器上安装资源监控服务；

S3、启动安装规划服务，获取需要安装的大数据软件中各个服务的资源占用需求；

S4、根据步骤S3获取各个服务的资源占用需求及步骤S2中资源监控服务获取的各个服务器的资源使用情况将各个服务与服务器完成匹配；

S5、根据步骤S4的匹配结果输出安装规划信息；

S6、自动化安装程序按照安装规划信息，执行自动化安装。

现有的手动配置服务实现数据平台安装，需要实现的步骤有：第一步，手动设置服务器环境，如关闭selinux，防火墙等。第二步，手动配置安装参数。第三步，手动执行安装命令。第四步，如果资源不满足服务运行要求，则需要再次手动调整。本方案区别于现有技术，提出一种可以根据软硬件资源信息智能规划安装hadoop大数据产品的方法，自动配置大数据软件的各项服务，达到合理分配资源安装大数据产品，降低运维成本；解决了手动配置安装大数据管理系统的服务，存在配置复杂，操作容易出现失误，失败后需要花费大量时间进行解决，对操作人员要求较高的问题。