[发明专利]一种分布式数据存储方法及系统

说明书

本申请提供了一种分布式数据存储方法及系统，应用于服务器集群，服务器集群中包括多个磁盘组，每个磁盘组中包括数据盘和编码盘，每个磁盘划分为多个大小相同的逻辑块，磁盘组中所有磁盘中具有相同逻辑块号的逻辑块组成磁盘组块，在写文件时，从空闲磁盘组块集合中随机选取3个磁盘组块；依次将目标文件的数据写入3个磁盘组块中的数据盘逻辑块中；当所有的数据盘逻辑块都写满或文件关闭时，对数据盘逻辑块中存储的数据进行编码，并将编码数据写入其中一个磁盘组块的编码盘逻辑块中；将未写入编码数据的2个磁盘组块放回空闲磁盘组块集合。实现了数据在多个服务器中的分布式存储，并降低了数据存储占用的空间。

技术领域

本发明涉及分布式存储技术领域，更具体的，涉及一种分布式数据存储方法及系统。

背景技术

文件系统为对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。具体地说，文件系统负责为用户建立文件，存入、读出、修改、转储文件，控制文件的存取，当用户不再使用时撤销文件等。

目前有两种主要的文件系统，备份制文件系统和编码制文件系统。其中，典型的备份制文件系统为HDFS(Hadoop Distributed File System，分布式文件系统)，HDFS将用户写入的文件首先在服务器生成一个数据节点；这个数据节点存储文件的元数据；然后将这个数据节点的元数据复制几份(一般为3份)到其他数据节点中。保证文件不会单点失效。备份制一份数据需要占用3倍的存储空间。备份制文件系统存在文件存储空间较大，设备成本高的问题。

编码制文件系统为了降低硬件存储的成本，将原始数据存储成1份，再将原始数据编码成原始数据的1/2或者以下进行存储。编码制存储的数据若发生数据丢失，通过原始数据+编码数据即可将丢失的数据进行恢复。通过编码制存储空间的占有比例一般在150％或者以下。RAID卡可以实现编码制文件系统的功能，将文件进行编码存储在RAID卡所管理的磁盘阵列中。为了防止磁盘坏块或磁盘损坏，可以从其他磁盘进行数据恢复，但是RAID的编码制是在一个机器内部实现的，无法在多个机器不同磁盘之间实现编码制。

可见，以上的文件系统无法兼顾降低存储空间和跨机器数据存储。

发明内容

有鉴于此，本发明提供了一种分布式数据存储方法及系统，解决了备份制文件系统数据存储空间过大的问题，并解决了编码制文件系统无法实现跨机器数据存储的问题。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种分布式数据存储方法，应用于服务器集群，服务器集群中包括多个磁盘组，每个磁盘组中包括数据盘和编码盘，每个磁盘划分为多个大小相同的逻辑块，磁盘组中所有磁盘中具有相同逻辑块号的逻辑块组成磁盘组块，所述方法包括：

在写文件时，从空闲磁盘组块集合中随机选取3个磁盘组块；

依次将目标文件的数据写入3个磁盘组块中的数据盘逻辑块中，所述目标文件为本次需要写入的文件；

当所有的数据盘逻辑块都写满或所述目标文件关闭时，对数据盘逻辑块中存储的数据进行编码，并将编码数据写入其中一个磁盘组块的编码盘逻辑块中；

将未写入编码数据的2个磁盘组块放回空闲磁盘组块集合。

可选的，所述依次将数据写入3个磁盘组块中的数据盘逻辑块中，包括：

对于每一个磁盘组块，当磁盘组块中的数据盘逻辑块中都未写过数据，则按数据盘逻辑块的编号的顺序将所述目标文件的数据写入数据盘逻辑块中；

当磁盘组块中的数据盘逻辑块写过数据，则从上次写数据的结尾位置开始，按数据盘逻辑块的编号的顺序将所述目标文件的数据写入数据盘逻辑块中。

可选的，所述方法还包括：