[发明专利]一种数据存储的检测方法、设备及分布式存储系统

说明书

本发明的实施例公开了一种数据存储的检测方法、设备及分布式存储系统，其中，对分布式存储系统中的第一数据节点中存储的各条数据进行扫描；对于当前扫描到的数据，获取所述扫描到的数据存储在所述分布式存储系统的其余一个或多个第二数据节点中的副本，并检测所述数据的各个副本是否发生故障。通过本发明的实施例，可以及时发现副本不足的数据，进而可以及时对副本不足的数据进行修复，保证数据的可靠性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据存储的检测方法、设备及分布式存储系统。

背景技术

分布式存储系统，例如，Cassandra，一般采用多副本的分布存储策略，通过多副本冗余存储来保证数据的可靠性。例如，可以采用3副本存储，即将原始数据hash后存储在其中一个数据节点上，而将另外2份副本存储在其他数据节点上。当某个磁盘或节点故障时，仍能保证另外两个副本可以访问，并在合适的条件下完成故障副本的修复。

其中，Cassandra是依赖DHT(Distributed Hash Table，分布式哈希表)技术实现的一种典型的无中心节点的环形结构的分布式存储系统。Cassandra数据存储空间可以抽象为一个环形结构，数据就是通过hash分散在这个环形存储空间上。每个节点负责管理这个环形存储空间上的某一块连续的范围(也叫Range)，落在此Range空间上的数据就存储在这个节点上。数据是以SSTable文件格式存储在这个节点的磁盘上。

在相关技术中，在数据故障时并不会进行数据副本的修复工作，而是依赖后续的用户读操作，在接入节点触发多副本的对比，通过比较各副本的签名是否一致，来发现哪个副本丢失或故障，进而对故障或丢失的副本进行修复。如图1所示，当副本2所在数据节点磁盘故障导致该副本丢失时，在用户再次访问该数据时，从该数据节点上无法读取副本2，因此三份副本的数据签名是不一致的，进而会将完好副本的副本数据修复到该数据节点。

由此可见，在相关技术中，在磁盘故障或节点故障导致副本丢失后，并不能及时进行修复，而是依赖后续用户读操作触发修复。当丢失的此数据并非用户经常访问的热数据的情况下，则这个数据将长期保持副本不足的状态。而在这段较长的时间内，由于其他节点或磁盘故障导致另外的副本丢失，则将导致数据丢失无法访问，因而数据的可靠性就无法得到保证。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据存储的检测方法、设备及分布式存储系统，可以将方便的检测分布式存储系统中存储的数据副本是否丢失。

根据本发明的一个方面，提供了一种数据存储的检测方法，所述方法包括：对分布式存储系统中的第一数据节点中存储的各条数据进行扫描，对于当前扫描到的数据，获取所述扫描到的数据存储在所述分布式存储系统的其余一个或多个第二数据节点中的副本，并检测所述数据的各个副本是否发生故障。

可选地，对分布式存储系统中的第一数据节点中存储的各条数据进行扫描的步骤包括：对记录所述第一数据节点中写入的每条数据的相关信息进行扫描，获取每条所述数据的相关信息，其中，所述相关信息包括：所述数据的数据标识、及存储所述数据的其余一个或多个副本的第二数据节点的标识信息。

可选地，获取所述扫描到的数据存储在所述分布式存储系统的其余一个或多个第二数据节点中的副本，并检测所述数据的各个副本是否发生故障的步骤包括：获取所述第一数据节点中存储的所述数据，并获取所述数据的第一数据签名；从存储所述数据的副本的其余所述一个或多个第二数据节点上分别读取所述数据的各个副本；分别获取读取的各个所述副本的第二数据签名；通过判断获取的所述第一数据签名和各个所述第二数据签名是否完全相同，检测所述数据的各个副本是否发生故障。

可选地，如果检测到所述数据的一个或多个副本发生故障，所述方法还包括：将所述数据重新写入到存储发生故障的副本数据节点。