[发明专利]一种大数据并行文件系统的设计方法

说明书

本发明公开了一种大数据并行文件系统的设计方法，包括：安装并启动docker；利用所述docker构建hadoop的基础镜像；在宿主机上用所述基础镜像启动多个容器，并配置各个容器；在所述各个容器中配置hadoop配置文件。本发明的上述技术方案，至少能够达到快速部署、快速迁移的目的。

技术领域

本发明涉及数据处理技术领域，具体来说，涉及一种大数据并行文件系统的设计方法。

背景技术

近年来，随着容器技术的发展，越来越多的人认识到了该项技术给开发者带来的便利，它不但能够简化配置，提高开发者效率，还能够快速部署各种开发环境和系统，大大提高开发者的工作效率。docker是一个开源的引擎，可以轻松地为任何应用创建一个轻量级的、可移植的、自给自足的容器。以虚拟化技术的发展来举例，在没有虚拟机技术之前，开发者想要使用新的硬件资源往往需要消耗几天甚至更长的时间，在虚拟化技术出现之后，将这个时间缩短到了几分钟的级别。而docker通过启动一个进程就可以启动一个容器，而无需启动一个操作系统，便能达到同虚拟机一样的效果和功能，再次将这个过程缩短到了秒级。容器技术正在逐渐地改变开发者的开发方式和习惯。

hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。hadoop实现了一个分布式文件系统，简称HDFS。HDFS有高容错性的特点，而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。传统部署hadoop文件系统，往往是在独立的服务器或者虚拟机上，需要在多个设备上分别做安装、配置，最后由单独的一台或者多台服务器全局管理和调度这套系统。

随着开发人员对工作效率和时间成本的要求越来越高，开发者想要基于hadoop进行开发、研究工作，就迫切需要一种方法能够比较节省时间地部署和维护开发环境，如何快速部署hadoop文件系统及后期维护该系统成为了一个急需解决的问题。目前，尚没有类似于本专利的方案，既能够快速部署hadoop文件系统，又能便捷地、省时省力地解决后期维护该系统。

以现有的技术，如果想要部署一套稳定可靠又可用的hadoop文件系统，往往需要使用多台服务器或者虚拟机设备，这不仅对设备的投入方面要求比较高，对部署的时间成本要求也较高。系统部署完成以后，对后期系统的维护、管理也需要投入一定的时间和精力。由于网络通信的不稳定等原因，往往还会导致系统稳定性不好等问题。可移植性、可复用性较差，在一组设备上完成文件系统的部署以后，如果想要迁移到另一组设备上，往往无计可施，只能在新的设备上重新部署一套新的hadoop文件系统。

发明内容

针对相关技术中存在的问题，本发明提出一种大数据并行文件系统的设计方法，能够达到快速部署、快速迁移的目的。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种大数据并行文件系统的设计方法，包括：安装并启动docker；利用docker构建hadoop的基础镜像；在宿主机上用基础镜像启动多个容器，并配置各个容器；在各个容器中配置hadoop配置文件。

优选的，配置各个容器具体包括：为各个容器创建网络、配置IP；为各个容器分别持载宿主机的本地磁盘，并选取各个容器分别作为NameNode、SecondaryNameNode和DataNode之中的一种。

优选的，基础镜像是具备ssh功能的hadoop的基础镜像，并且各个容器之间ssh为无密码访问。

优选的，在构建hadoop的基础镜像之后还包括：基于基础镜像构建带有jdk和hadoop的centos镜像。

优选的，设计方法还包括：在宿主机上安装监控引擎，监控引擎用于监控各个容器的进程状态；在各个容器中安装监控代理，监控代理用于向监控引擎发送容器异常信息，并且监控引擎根据容器异常信息排除异常。