[发明专利]一种Hadoop部署方法和装置

说明书

本发明公开了一种Hadoop部署方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收部署前台发送的部署请求，所述部署请求指示了一个或多个部署数据，所述部署数据指示了一个或多个部署命令、执行所述部署命令的个Hadoop集群或者一个或多个Hadoop节点；合并或拆分所述一个或多个部署命令；将合并或拆分后的一个或多个部署命令发送至自动化运维平台的服务端，以使得所述自动化运维平台的服务端所管理的Hadoop节点执行所述部署命令。该实施方式降低了自动化运维平台处理部署命令时需要消耗的内存，提高了自动化运维平台的吞吐量，进而提高了Hadoop部署效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种Hadoop部署方法和装置。

背景技术

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，具有两大核心设计：HDFS和MapReduce；其中，HDFS(Hadoop Distributed File System)，即分布式文件系统，为海量数据提供了存储，而MapReduce则为海量数据的计算提供了可能，使得Hadoop不仅可提供高吞吐量的应用数据访问，还适用于具有大数据集的应用程序。因此，常需要批量部署Hadoop集群或批量执行命令。目前，常用的Hadoop部署方法是，借助于自动化运维工具或自动化运维平台实现Hadoop部署。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：随着部署的Hadoop节点数量的大幅增加，尤其是需要同时对上万Hadoop节点进行部署时，对大量部署命令以及Hadoop节点执行结果的处理给处理器造成了极大的压力，限制了系统的吞吐量，降低了Hadoop部署的效率。

发明内容

有鉴于此，本发明提供了一种Hadoop部署方法和装置，能够通过对部署命令的拆分或者合并，实现部署命令的分发控制，极大地降低了部署命令以及Hadoop节点执行结果给处理器造成了极大的压力，提高了Hadoop部署效率。

为实现上述目的，根据本发明的第一方面，提供了一种Hadoop部署方法，包括：接收部署前台发送的部署请求，所述部署请求指示了一个或多个部署数据，所述部署数据指示了一个或多个部署命令、执行所述部署命令的个Hadoop集群或者一个或多个Hadoop节点；合并或拆分所述一个或多个部署命令；将合并或拆分后的一个或多个部署命令发送至自动化运维平台的服务端，以使得所述自动化运维平台的服务端所管理的Hadoop节点执行所述部署命令。

可选地，根据下述的一项或多项，合并或拆分所述一个或多个部署命令：部署命令的数量、执行所述部署命令的Hadoop节点的类型、执行所述部署命令的Hadoop节点的数量。

可选地，所述自动化运维平台的服务端通过Redis队列将将合并或拆分后的一个或多个部署命令发送至所述Hadoop节点。

可选地，还包括：接收所述自动化运维平台的结果返回器所返回的一个或多个执行结果；合并所述一个或多个执行结果，并将合并后的执行结果返回至所述部署前台。

可选地，所述自动化运维平台是Saltstack或者Ansible。

为实现上述目的，根据本发明的第二方面，提供了一种Hadoop部署装置，包括：部署请求接收模块、命令管理模块、命令发送模块；其中，所述部署请求接收模块，用于接收部署前台发送的部署请求，所述部署请求指示了一个或多个部署数据，所述部署数据指示了一个或多个部署命令、执行所述部署命令的Hadoop集群或者一个或多个Hadoop节点；所述命令管理模块，用于合并或拆分所述一个或多个部署命令；所述命令发送模块，用于将合并或拆分后的一个或多个部署命令发送至自动化运维平台的服务端，以使得所述自动化运维平台的服务端所管理的Hadoop节点执行所述部署命令。

可选地，所述命令管理模块，用于根据下述的一项或多项，合并或拆分所述一个或多个部署命令：部署命令的数量、执行所述部署命令的Hadoop节点的类型、执行所述部署命令的Hadoop节点的数量。