[发明专利]一种基于虚拟地址池的分布式文件系统数据卷部署方法

说明书

技术领域

本发明涉及应用于云计算、云存储领域中的分布式文件系统领域，具体涉及一种基于虚拟地址池的分布式文件系统数据卷部署方法。

背景技术

随着云计算技术、云存储技术应用进一步发展，作为其应用核心的分布式文件系统得到快速应用和发展。由于云计算、云存储应用承载着可扩展、海量存储内容等特征上层业务，而现有的各种单机文件系统由于容量有限、不具有实时可扩展性、无法满足于云相关业务对存储的要求；因此具备动态高可扩展性、集群架构、支持高并发、大容量的分布式文件系统成为云计算业务后端存储设备的选择。

为满足云计算、云存储实际业务的性能需求，根据分布式文件系统设计架构三方分离的原则，需要将其构建在分布式集群节点之上。针对云计算环境中大规模的应用客户端IO访问，元数据模块需要支撑较高的并发访问请求，因而构建在高性能、大容量服务器集群之上；而作为云计算应用中数据存储载体的分布式文件系统的数据存储模块，其显著特点则是通过后端成千上万的数据存储设备提供实时、持续可用的数据存储空间，并支持分布式文件系统客户端模块的大容量、多并发读取和写入数据；如何有效管理数目繁多的数据存储卷、保证在数据节点发生故障时数据存储卷保持挂载状态且实时可用、并能够智能的根据数据节点负载情况表现出挂载灵活性、给分布式文件系统的管理者和维护者带来了挑战。

由于分布式文件系统需要提供海量的存储空间，其通常需要部署在庞大的数据节点集群之上。通过数据节点集群后端的存储设备构造分布式文件系统的海量存储空间，而在节点数量达到一定规模的数据节点集群中，节点故障造成数据存储卷无法访问成为频繁现象，通过将数据存储卷映射给所有数据节点的物理地址并引入高可用软件也只适用于有限数目的节点集群，对于由成千数百数据节点组成的集群以及由多个子集群组成的更大规模数据节点集群，则出现数据节点故障频繁、替换数据节点复杂、替换时间长以及不完全替换现象，造成产生无法访问数据存储卷或者访问频繁中断问题。这种情况下则需要对现有分布式文件系统的部署方法进行改进，实现一种高效处理分布式文件系统中数量繁多的数据节点和数据存储卷的管理工作。

发明内容

本发明的目的是提供一种基于虚拟地址池的分布式文件系统数据卷部署方法。

本发明的目的是按以下方式实现的，根据分布式文件系统中通过元数据节点、数据存储节点、客户端节点不同的节点角色构建成节点集群或子集群，在数据节点集群上采用基于虚拟IP地址池的方式部署数据存储卷，实现分布式文件系统数据存储卷的部署与数据节点的物理地址相分离，从而将数据存储卷的部署与数据节点集群的虚拟地址相结合；在分布式文件系统运行的节点上部署监控模块，实现对节点运行状态和负载实时监控；根据节点状态和负载情况，在数据节点集群内实时迁移任一节点所承载的虚拟IP以及挂载到虚拟地址之上的数据存储卷，同时也实现隔离物理节点故障，确保维护物理节点时不中断数据存储卷的数据服务，这在大规模部署分布式文件系统的环境中，数据节点集群中数据节点数目较多又进一步划分为数据节点子集群的环境更为有效，该系统架构包括：虚拟地址池管理模块（1）、节点状态和负载监控模块（2）、数据存储卷高可用管理模块（3），其中：

    虚拟地址池管理模块（1）用于在数据节点子集群中管理虚拟IP地址池，并在数据节点子集群的所有数据节点上根据预先设定的规则分配虚拟IP地址；在数据节点发生故障时，接收对虚拟地址的管理命令，将虚拟IP地址迁移到指定的数据节点上；并对虚拟地址池中的IP地址进行增加、删除的常规维护；

节点状态和负载监控模块（2）用于对数据节点的运行状态和节点负载情况进行实时监控，实时获取数据节点的运行状态和负载情况，并在节点故障和负载超标时通知虚拟地址池管理模块（1）和数据存储卷高可用模块（3）分别完成虚拟IP地址和数据存储卷在数据子集群中的节点上迁移；

数据存储卷高可用管理模块（3）用于对数据子集群内的所有数据存储卷进行管理，部署文件系统时，根据数据节点子集群内数据节点信息以及数据节点子集群的虚拟地址池中地址信息，初始化子集群中所有数据存储卷，实现数据节点子集群内数据存储卷与虚拟IP地址的映射，同时，该模块接收节点状态和负载监控模块（2）的监控信息，并在数据子集群内的某一数据节点故障或负载较大时，将此数据节点上挂载的数据存储卷迁移到数据节点子集群内的其它数据节点上，确保数据存储卷的持续可访问。