[发明专利]一种GlusterFS基于纠删码的数据冗余存储方法

说明书

本发明涉及一种GlusterFS基于纠删码的数据冗余存储方法。本发明针对GlusterFS存在的数据冗余存储方案单一的缺点，提出一种基于纠删码的冗余存储的方案，在进行大量冷数据存储时可以有效提高存储介质的利用率。本发明所述GlusterFS基于纠删码的数据冗余存储方法，在丢失了部分块文件之后仍然可以利用其它块文件进行计算合成，其数据冗余比例可以人为控制，实现在较低的存储利用率下的数据冗余保障。

技术领域

本发明涉及一种GlusterFS基于纠删码的数据冗余存储方法，属于分布式存储的技术领域。

背景技术

数据冗余存储从原理上可以分为两种类型：基于副本的数据存储和基于纠删编解码的数据存储。基于副本的数据存储是将数据完整的拷贝到另外一个存储位置(可以是另外一种存储介质)实现数据的冗余存储，一旦其中一份备份数据出现损坏可以通过其他的数据副本进行修复，提高数据存储的可靠性和安全性。基于副本的数据存储与传统的RAID1技术非常相似，其缺点是对存储资源的利用率较低，数据恢复速度缓慢。基于纠删编解码的数据备份将原始数据通过一种规则编码成数据块和校验块后，再将这些块一一进行存储。这种冗余存储技术使存储空间的利用率得到了显著提高，其缺点是读性能下降，一般情况下将长期不再访问的冷数据通过纠删码的方式存储。

分布式文件系统从架构上可以分为有中心的文件系统和无中心的文件系统。GlusterFS是一个开源的无中心的分布式文件系统，存储容量可以轻松扩展到PB级，处理上千个客户端的请求。GlusterFS提供了基于卷组的灵活的存储方案配置，通过设定可以实现类似于RAID1的数据镜像存储。在有中心的分布式文件系统中纠删码的实现可以借助于元数据服务器跟踪元数据切块后的存放位置关系，实现起来相对比较简单。GlusterFS是典型的无中心的分布式文件系统，对于系统中所存储数据的访问依赖算法实现，如果一个文件通过纠删码的方式进行存储，文件数据会被分割存储在不同位置，难以通过算法进行多个离散存储位置的描述，因此实现较困难。

对于有中心的分布式文件系统，其基于纠删码的冗余存储方案的实现方法如下：客户端向元数据服务器请求写入文件数据，元数据服务器返回写入服务器的列表后，客户端将文件进行切片存入各个服务器，然后元数据服务器会利用RS纠删编解码(这里以RS编码技术为例)对存入的文件进行编码得到冗余的编码块，元数据服务器改变文件记录映射表，为冗余的编码块数据申请存储服务器，然后将冗余编码块数据写入相应的数据块服务器中。进行数据访问的时候，首先通过元数据服务器获得包含了冗余编码块的数据，经过RS解码规则合成并验证原文件，验证成功后返回给客户端。

上述过程中，元数据服务器在纠删编解码中起到了至关重要的作用。在无中心的分布式文件系统中，不存在元数据服务器，导致基于纠删码的数据存储实现困难。

发明内容

针对现有技术的不足，本发明提供一种GlusterFS基于纠删码的数据冗余存储方法。

发明概述：

本发明针对GlusterFS存在的数据冗余存储方案单一的缺点，提出一种基于纠删码的冗余存储的方案，在进行大量冷数据存储时可以有效提高存储介质的利用率。

本发明的技术方案为：

一种GlusterFS基于纠删码的数据冗余存储方法，通过实现GlusterFS模块CheckCode进行，CheckCode模块将存入GlusterFS的数据进行基于纠删码的编码，对原文件的访问进行解码合并；所述GlusterFS为基于模块化的堆栈式架构。

根据本发明优选的，所述GlusterFS基于纠删码的数据冗余存储方法，包括具体步骤如下：