[发明专利]用于分布式存储系统的数据一致性校验方法及装置

说明书

本发明公开了一种用于分布式存储系统的数据一致性校验方法及装置，该方法包括：对客户端赋予读写分布式存储系统的权限；编写用于对分布式存储系统注入多种冗余内故障的故障脚本；通过运行故障脚本并且同时在客户端并行运行vdbench的校验模式，在vdbench运行的任意阶段对分布式存储系注入多种冗余内故障中的任意一种；在vdbench的校验过程中，如果发现数据不一致则vdbench报错退出。通过上述技术方案，至少能够覆盖更多的故障场景下的数据检验。

技术领域

本发明涉及分布式存储系统技术领域，具体来说，涉及一种用于分布式存储系统的数据一致性校验方法及装置。

背景技术

随着信息技术的发展，数据量呈爆炸式增长，大数据、云计算等概念提出和兴起。面对巨大的数据信息，传统的集中式存储系统越来越无法满足这些巨量信息的存储需求，分布式存储系统应运而生。

分布式存储系统是将文件分割成多个数据块，将数据块分散存储到多个存储服务器上。相较于传统的集中式，分布式存储系统具有低成本、易扩展、高可用、高容错、快速响应客户端数据操作请求等优点，在大数据、云计算、云存储等信息领域具有举足轻重的作用。

为了提高系统的可靠性、可用性，对数据信息进行冗余存储，常见的冗余技术有两种：副本策略和纠删码。但是由于故障和并行存储等情况的存在，即便是在冗余策略下，如果是网络、磁盘或服务器故障，也会导致部分数据写入成功，部分数据写入失败，或者是同一个数据的多个副本可能存在不一致性的情况。就造成了数据不一致。非不可抗情况下不能发生数据丢失，亦即要求数据可靠一致--这往往也被称为存储系统的生命线和底线。因而数据校验是存储系统中至关重要的课题。目前针对数据一致性的校验方法覆盖面比较小，基本上是数据写入后记录MD5值(即Message-Digest Algorithm 5，信息-摘要算法5，用于确保信息传输完整一致，它将数据运算为唯一固定长度值，使用方法是md5sum加文件名，即可获取该文件的MD5值，只有在数据完全一致时，MD5值才会相同)。之后注入故障，故障之后再次获取数据的MD5值，通过对比故障前后的MD5值来验证数据一致性。这种方法没有覆盖到业务执行过程中注入故障这种情况的数据一致性校验。

但是，在实际的使用过程中，系统不只是在用户完全将数据写入后才会发生故障，用户在不同的操作阶段中，系统都有可能出现网络、磁盘、服务进程或节点故障，会导致部分数据写入成功，部分数据写入失败，从而出现数据不一致。因此，通过故障前后校验文件的MD5值具有一定的局限性，不适用于存储使用环境。

发明内容

针对相关技术中的上述问题，本发明提出一种用于分布式存储系统的数据一致性校验方法及装置，至少能够覆盖更多的故障场景下的数据检验。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种用于分布式存储系统的数据一致性校验方法，包括：

对客户端赋予读写所述分布式存储系统的权限；

编写用于对所述分布式存储系统注入多种冗余内故障的故障脚本；

通过运行所述故障脚本并且同时在所述客户端并行运行vdbench的校验模式，在vdbench运行的任意阶段对所述分布式存储系注入所述多种冗余内故障中的任意一种；

在vdbench的校验过程中，如果发现数据不一致则vdbench报错退出。

根据本发明的实施例，对客户端赋予读写所述分布式存储系统的权限，包括：在所述分布式存储系统中添加nfs协议，以使得所述客户端通过挂载nfs来访问所述分布式存储系统。

根据本发明的实施例，在运行vdbench的校验模式之前还包括：在所述客户端写vdbench配置文件而产生预定大小和预定比例的文件，其中，所述文件的生成目录为nfs的挂载目录。