[发明专利]一种分布式存储系统

说明书

本发明涉及一种分布式存储系统，由Master模块，Client模块，BlockNode模块，Zookeeper cluster模块组成。Master模块是系统的核心模块，主要负责用户业务逻辑处理，存储资源管理调度，数据多备管理控制等等。Client模块主要负责在宿主机上对存储模块的管理操作。BlockNode模块主要负责对存储介质的管理。系统架构在文件系统之上，借助文件为存储介质。BlockNode模块实现对存储服务器上的存储空间管理，Zookeeper cluster模块主要负责整个系统集群信息一致性同步。整个系统实现了对存储的虚拟化管理，提供了可靠，高效，灵活的数据存储和数据访问，满足了用户对存储的需求。

技术领域

本发明涉及一种计算机存储系统，尤其涉及一种分布式存储系统。

背景技术

随着计算机技术发展，特别是云概念的提出，计算机物理存储方式和存储容量，以及存储的访问方式都发生了巨大变化，原有的存储系统已经不能，所以提出了分布式存储系统实现(EBS)概念。分布式存储系统需要在提供海量存储空间的同时，实现数据的多备存储，提升数据可靠性。同时，分布式存储系统需要提供高IO性能来应对多租户同时读写的性能保障。分布式存储系统拥有独立的生命周期，提供灵活的挂载方式，使数据可以在不同虚拟主机间进行切换访问。

发明内容

针对上述问题，本发明涉及一种分布式存储系统，由Master模块，Client模块，BlockNode模块，Zookeeper cluster模块组成。Master模块是系统的核心模块，主要负责用户业务逻辑处理，存储资源管理调度，数据多备管理控制等等。Client模块主要负责在宿主机上对存储模块的管理操作，包括存储设备的挂载，卸载，存储设备和物理设备的映射等等，同时提供数据通道的功能，用户对数据的访问通过网络传输到Client模块，在通过Client模块实现对具体设备的读写，实现存储访问的虚拟化。BlockNode模块主要负责对存储介质的管理。系统架构在文件系统之上，借助文件为存储介质。BlockNode模块实现对存储服务器上的存储空间管理，将存储空间通过文件的形式进行划分，用户数据通过调度存储在文件上，实现存储的虚拟化。Zookeeper cluster模块主要负责整个系统集群信息一致性同步。

包括BlockNode模块数据文件的创建：创建BlockNode模块的节点，BlockNode模块节点在初始化的同时在硬盘创建大于一个以1G为单位的文件。文件的文件名以数字为编号，从1开始直到n结束；在每块硬盘上创建一个bitmap文件，文件名为volume.bm，bitmap文件数据的前8个字节记录BlockNode模块的空间大小，后面的n个位用来标志这些创建的文件是否被使用；Bitmap文件保存在各个硬盘的根目录下。

包括卷标的元数据的管理：为每个卷标创建一个元数据文件，以blockID.vol命名，记录卷标的版本号和其对应的文件。在卷标创建分配块时，通过查询bitmap位图，来查找没有使用的文件；卷标对应的文件分散在不同的硬盘。

卷标(volume)的元数据文件保存在/root/BlockNode模块/目录下，bitmap文件分别保存在各自硬盘的根目录，所述BlockNode模块启动时读取所述元数据文件，然后在内存中组织这些数据。

包括Queue数据存储到硬盘的格式：Queue的数据结构分两种类型：volumeID.jou存储描述Queue的结构体，volume.jdata存储块的数据。每n个Queue项目存一对这样类型的文件，以自然数序列作为后缀名。

当内存不足时所述Queue写入硬盘，并在所述Queue的header里将在所述硬盘中的Queue的数目修改，写入所述硬盘的更新序列按序列号从小到大进行排列。