[发明专利]一种分布式存储系统的数据校验方法及相关装置

说明书

本申请公开了一种分布式存储系统的数据校验方法及相关装置，包括从硬盘读取目标数据，并计算所述目标数据中每预设校验区间长度的数据的CRC校验值，得到第一CRC校验值；从数据库中读取写所述目标数据时，计算所述目标数据中每预设校验区间长度的数据的CRC校验值所得到的第二CRC校验值；分别将各所述第一CRC校验值与相应的所述第二CRC校验值进行比对；若所述第一CRC校验值与相应的所述第二CRC校验值不一致，则确定所述硬盘中的所述目标数据发生错误。该数据校验方法能够精确识别数据异常的位置，并能够保障数据校验的有效进行。

技术领域

本申请涉及分布式存储技术领域，特别涉及一种分布式存储系统的数据校验方法；还涉及一种分布式存储系统的数据校验装置、设备以及计算机可读存储介质。

背景技术

海量分布式存储系统通常由数千块硬盘与数十上百个存储节点组成。每个硬盘由一个独立的存储引擎管理，即由一个独立的进程管理。如果由于硬盘的硬件错误、固件缺陷、供电温度等导致存储数据出现错误，通常难以及时有效的获取到这类异常。而在多副本分布式存储系统中，若未能及时发现错误数据并进行恢复，则可能导致数据丢失或数据不一致的风险。由此，对数据进行校验，以及时发现错误数据显得尤为重要。目前，针对数据校验的技术方案是通过对多个副本的数据进行CRC校验值计算，并比较对各副本之间的CRC校验值进行比较，当CRC校验值不相等时，则认为某个副本的数据出现了错误。然而，采用上述校验方式，在两个副本的情况下，如果两个副本的数据的CRC校验值不同，此时只能判断出其中一个副本的数据出现了错误，却无法确定具体是哪个副本的数据出现了错误。并且，从两个存储节点获取两个副本的数据的校验值进行比较，复杂度高。若某一副本所在节点出现故障，如已经掉电，此时便无法有效进行数据校验。

因此，如何解决上述技术缺陷已成为本领域技术人员亟待解决的技术问题。

发明内容

本申请的目的是提供一种分布式存储系统的数据校验方法及相关装置，能够精确识别数据异常的位置，并能够保障数据校验的有效进行。

为解决上述技术问题，本申请提供了一种分布式存储系统的数据校验方法，包括：

从硬盘读取目标数据，并计算所述目标数据中每预设校验区间长度的数据的CRC校验值，得到第一CRC校验值；

从数据库中读取写所述目标数据时，计算所述目标数据中每预设校验区间长度的数据的CRC校验值所得到的第二CRC校验值；

分别将各所述第一CRC校验值与相应的所述第二CRC校验值进行比对；

若所述第一CRC校验值与相应的所述第二CRC校验值不一致，则确定所述硬盘中的所述目标数据发生错误。

可选的，写所述目标数据时，计算所述目标数据中每预设校验区间长度的数据的CRC校验值，包括：

若所述目标数据对应的写入区间的起始位置与终止位置是所述预设校验区间长度的整数倍，则直接计算所述目标数据中每预设校验区间长度的数据的CRC校验值。

可选的，写所述目标数据时，计算所述目标数据中每预设校验区间长度的数据的CRC校验值，包括：

若所述目标数据的写入区间的起始位置和/或终止位置不是所述预设校验值计算长度的整数倍，则从所述硬盘中读取所述起始位置前为所述预设校验区间长度的整数倍的位置至所述起始位置的已写入数据，和/或，从所述硬盘中读取所述终止位置至所述终止位置后为所述预设校验区间长度的整数倍的位置的已写入数据；

计算所述已写入数据与所述目标数据中每预设校验区间长度的数据的CRC校验值。

可选的，所述第二CRC校验值存入所述数据库包括：

所述第二CRC校验值及所述第二CRC校验值对应的所述数据在对象中的偏移量以map的形式存储于所述数据库。