[发明专利]大数据平台的数据处理方法及装置

说明书

本发明公开了一种大数据平台的数据处理方法及装置。其中，该方法包括：将大数据平台的服务组件部署在多个容器中；通过运行多个容器中的服务组件，以运行大数据平台；将大数据平台的服务组件写入需要安装服务的主机。本发明解决了相关技术中大数据平台CDH的安装需要多台物理机或者虚拟机组成集群，成本较高，效率低的技术问题。

技术领域

本发明涉及大数据平台领域，具体而言，涉及一种大数据平台的数据处理方法及装置。

背景技术

CHD(Cloudera Distribution Hadoop)是Cloudera公司的hadoop全家桶发行版。存在社区版和收费版，社区版不支持api部署，只能通过其提供的WEBUI管理部署hadoop集群，这种部署方式很难实现自动化环境搭建，进一步影响依赖该环境的业务产品的自动化测试。传统的CDH部署需要多台物理机器或者虚拟机组成集群，每台机器扮演不同的角色，部署一次耗时较长，部署效率低，而且成本较高。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种大数据平台的数据处理方法及装置，以至少解决相关技术中大数据平台CDH的安装需要多台物理机或者虚拟机组成集群，成本较高，效率低的技术问题。

根据本发明实施例的一个方面，提供了一种大数据平台的数据处理方法，包括：将大数据平台的服务组件部署在多个容器中；通过运行所述多个容器中的服务组件，以运行所述大数据平台；将所述大数据平台的服务组件写入需要安装所述服务的主机。

可选的，将大数据平台的服务组件部署在多个所述容器中包括：确定所述大数据平台的服务组件的镜像数据，其中，所述大数据平台的服务组件包括：代理组件，服务组件，存储组件；根据所述镜像数据将所述服务组件，通过容器引擎部署在多个所述容器中，其中，所述容器引擎对应多个所述容器。

可选的，在所述容器后台，根据所述镜像数据将所述服务组件，通过容器引擎部署在多个所述容器中，所述方法还包括：保持所述容器前端持续运行，以保持所述容器处于开启状态，其中，通过在所述容器前端运行死循环程序，以保持所述容器前端持续运行。

可选的，通过运行所述多个容器中的服务组件，以运行所述大数据平台包括：运行所述容器，以调用所述容器中的服务组件；运行所述服务组件，以运行安装所述大数据平台的进程；运行安装后的所述大数据平台。

可选的，将所述大数据平台的服务组件写入需要安装所述服务的主机包括：在所述多个容器中运行所述大数据平台安装所需的服务的进程，其中，所述大数据平台的服务为多个，所述大数据平台存储有所述服务的安装包；将所述服务的数据目录挂载在所述主机的主机目录上，以将所述服务写入所述主机上。

可选的，运行所述大数据平台安装所需的服务的进程包括：在所述服务需要配置域名系统的情况下，通过所述容器的容器引擎的组件，在所述容器引擎的网络中进行域名系统的配置；根据配置的所述域名系统，运行所述大数据平台安装所需的服务的进程。

可选的，所述方法还包括：将所述服务的安装包的安装位置也挂载在所述主机目录上。

根据本发明实施例的另一方面，还提供了一种大数据平台的数据处理装置，包括：部署模块，用于将大数据平台的服务组件部署在多个容器中；运行模块，用于通过运行所述多个容器中的服务组件，以运行所述大数据平台；安装模块，用于将所述大数据平台的服务组件写入需要安装所述服务的主机。

根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的大数据平台的数据处理方法。

根据本发明实施例的另一方面，还提供了一种计算机存储介质，所述计算机存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机存储介质所在设备执行上述中任意一项所述的大数据平台的数据处理方法。