[发明专利]基于容器的HDFS高可用实现方法

说明书

本发明提供一种基于容器的HDFS高可用实现方法。所述方法包括：通过HDFS集群系统中的Pod挂载预先分配的远端NFS共享目录；当Kubernetes重新调度HDFS集群中的异常Pod或容器时，通过所述异常Pod或者容器重新挂载所述远端NFS共享目录中的对应数据文件目录，以恢复异常Pod或者容器中的数据，从而实现容器内HDFS的高可用性；其中，所述NFS共享目录用于存放HDFS所有节点的数据文件的保存目录。本发明通过预先分配一个远端NFS共享目录，并将之与容器相对应，通过挂载远端NFS共享目录将HDFS节点的数据文件保存目录存放在远端NFS共享目录中，这样容器被销毁重建之后，通过重新挂载预先分配的远端NFS共享目录就可以恢复容器的用户数据，从而使得HDFS节点数据不会丢失。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于容器的HDFS高可用实现方法。

背景技术

HDFS(Hadoop Distributed File system，Hadoop分布式文件系统)是一个具有高度容错性的分布式文件系统，能够提供高吞吐量的数据访问，同时具备一定的故障恢复能力，适合在大规模的数据集上使用。HDFS是一个主/从体系结构，包括两类节点：NameNode和DataNode，其中，NameNode负责处理客户端的请求，配置副本策略，管理HDFS的命名空间等；DataNode负责数据块的读写操作等。HDFS更适合于一次写入，多次读取的应用场景，不适宜频繁写入和实时获取的应用场景。NFS(Network File System，网络文件系统)允许计算机通过TCP/IP网络访问远端的计算机上的硬盘目录，提供了一种文件共享的方式，安装NFS客户端的计算机就可以像访问本地磁盘那样读写NFS服务器上共享出来的磁盘目录。

Docker容器技术是基于LXC(Linux Container)技术衍生的一种新型内核虚拟化技术，从2013年诞生之日起便持续得到开发者和企业的关注和青睐。使用Docker技术，开发者可以轻松的在容器上部署和运行应用，并通过配置文件轻松实现应用的自动化安装、部署和升级。Kubernetes是一个全新的基于Docker容器技术的分布式架构领先方案，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的便捷性。Pod作为集群中最基本操作单元，包含一个或多个紧密相关的容器，这些容器共享存储和网络资源。与传统物理机的部署相比，借助于容器的轻量级和容器编排系统Kubernetes，可以在同等的物理硬件条件下，部署更多的HDFS集群，提供给更多的用户使用，并且这些HDFS相互隔离，不会有影响。

通常情况下，在Kubernetes中的每个Pod上只创建一个容器，并在容器中部署HDFS集群，根据Kubernetes的调度策略，当Pod或容器因未知原因发生异常终止时Kubernetes会删除掉异常终止的Pod，并重新根据yaml文件生成新的Pod，并把它启动起来加入到原HDFS集群中，其中，yaml文件是一种编写配置文件的语言。

在实现本发明的过程中，发明人发现现有技术中至少存在如下技术问题：

虽然按照上述部署方式的确可以为多个用户创建更多的HDFS集群，并且一旦HDFS集群中的某个数据节点DataNode出现异常终止，Kubernetes能够重新调度该数据节点DataNode并将其加入原HDFS集群中。由于重新调度后的DataNode是一个全新的、失去所有用户数据的节点，因此需要借助HDFS文件系统本身的高可用特性保证HDFS上的数据不丢失。