[发明专利]一种大数据库系统的安装工具

说明书

技术领域

本发明涉及一种数据库系统的安装工具，尤其涉及一种大数据库系统 的安装工具。

背景技术

随着计算机技术的发展，单机版数据库系统应运而生并得到了不断发 展和完善。但是，随着互联网、移动互联网和物联网的发展，我们迎来了 一个海量数据的时代，对这些海量数据的分析已经成为一个非常重要且紧 迫的需求。传统单机版数据库系统已无法满足网络时代的海量大数据管理 要求，无论是存储容量、存取速度、查询速度都受到极大的限制。一种基 于pythonweb的Apache大数据库系统为网络时代的海量大数据提供了一 个分布式可扩展、大容量、高速存取、高速查询的数据库平台。用户可以 在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威 力进行高速运算和存储。其中，Hadoop由分布式文件系统HDFS和分布 式批处理计算框架Mapreduce组成。其计算模型以函数式编程中的Map– Reduce两个函数为原型，发展出了适用于多机并行处理的计算模式，使集 群的整体处理能力可以横向扩展，解决了单机数据处理的瓶颈。

Spark支持包括HDFS在内的多种数据存储方式，这使得Spark成为一 套更通用的数据分析处理系统。在基于Spark又开发了针对各种计算领域 的工具包，比如流式计算SparkStream，机器学习包Mllib,支持SQL查 询的SparkSQL，图计算GraphX。

而Hadoop经过多年的发展，日渐成熟，其HDFS已经成为大数据文 件系统的事实标准。Hadoop和Spark就是现在大数据分析处理平台的基石。

Ambari是hadoop分布式集群配置管理工具，是由hortonworks主导的 开源项目。它已经成为apache基金会的孵化器项目，已经成为hadoop运维 系统中的得力助手，引起了业界和学术界的关注。

Ambari采用的不是一个新的思想和架构，也不是完成了软件的新的革 命，而是充分利用了一些已有的优秀开源软件，巧妙地把它们结合起来， 使其在分布式环境中做到了集群式服务管理能力、监控能力、展示能力。 这些优秀开源软件有：

在agent端，采用了puppet管理节点；

在Web端，采用了ember.js作为前端的MVC构架和NodeJS相关工具， 用handlebars.js作为页面渲染引擎，在CSS/HTML方面还用了Bootstrap框 架；

在Server端，采用了Jetty,Spring，Jetty，JAX-RS等；

同时利用了Ganglia，Nagios的分布式监控能力。

Ambari架构采用的是Server/Client的模式，主要由两部分组成： ambari-agent和ambari-server。ambari依赖其它已经成熟的工具，例如其 ambari-server就依赖python，而ambari-agent还同时依赖ruby,puppet，facter 等工具，还有它也依赖一些监控工具nagios和ganglia用于监控集群状况。 其中：

puppet是分布式集群配置管理工具，也是典型的Server/Client模式，能 够集中式管理分布式集群的安装配置部署，主要语言是ruby。

facter是用python写的一个节点资源采集库，用于采集节点的系统信 息，例如OS信息，主机信息等。由于ambari-agent主要是用python写的， 因此用facter可以很好地采集到节点信息。

Ambari依赖的众多开源软件，包括部署工具，消息队列，需要在每个 节点安装客户端。而安装这些工具，又需要配置软件的源地址，不能做到 离线安装。

当前围绕着ApacheHadoop这个分布式数据处理工具已经开发了一系 列大数据计算查询工具，比如Spark，Hive.但这些工具只提供了最基本的 计算，存储功能。Hadoop和Spark依赖脚本执行操作。启动集群前需要对 操作系统进行配置，步骤繁琐，不利于维护。

1)现有的开源部署软件架构复杂，各组件要完全通过键入命令行输入选 项独立安装，部署工具本身的安装无法自动化，使用户不能快速地、不能 无人执守地进行大数据平台的安装。