[发明专利]数据检测方法、装置、电子设备及可读存储介质

说明书

本申请提供一种数据检测方法、装置、电子设备及可读存储介质，涉及计算机数据处理技术领域。方法包括：获取目标文件集的第一副本的第一校验值及目标文件集的第二副本的第二校验值，其中，第一校验值为基于校验算法及第一副本中的所有第一数据块的校验值确定的校验值，第二校验值为基于校验算法及第二副本中的所有第二数据块的校验值确定的校验值；根据第一校验值及第二校验值确定第一副本、第二副本是否存在异常的检测结果，如此，可以快速实现第一副本和第二副本是否存在异常的检测，有利于降低检测过程中的运算量。

技术领域

本申请涉及计算机数据处理领域，具体而言，涉及一种数据检测方法、装置、电子设备及可读存储介质。

背景技术

在分布式存储系统中，通常使用多副本的形式实现数据冗余，当某个副本所在的磁盘或主机出现异常时，其他副本仍然能提供完整的数据。如果发生静默数据损坏，即由于数据在分布式存储系统的传输过程中，需要经过多种软硬件处理，其中任一处理过程出现错误都将导致数据内容出现错误，从而引起分布式存储系统中多个副本数据出现不一致的情况。其中，每个副本通常包括多个数据块，每个数据块包括数据内容及校验值。目前，在判断副本是否异常的方式为：读取存储后的每个副本中的每个数据块，基于读取的数据块中的数据内容进行运算得到新的校验值，然后将新的校验值与数据块所携带的校验值进行比对，其中数据块中携带的校验值可以为存储前对数据块中的数据内容进行运算得到的校验值，而在存储过程中，数据块中的数据内容可能存在变化，从而使得先后运算得到校验值可能不同。该方式的运算量大，分布式存储系统无法快速实现副本的检测。

发明内容

本申请实施例的目的在于提供一种数据检测方法、装置、电子设备及可读存储介质，能够在实现目标文件集的副本是否异常的检测过程中，改善在检测过程中的运算量大、检测速度慢的问题。

为了实现上述目的，本申请的实施例通过如下方式实现：

第一方面，本申请实施例提供一种数据检测方法，所述方法包括：

获取目标文件集的第一副本的第一校验值及所述目标文件集的第二副本的第二校验值，其中，所述第一校验值为基于校验算法及所述第一副本中的所有第一数据块的校验值确定的校验值，所述第二校验值为基于所述校验算法及所述第二副本中的所有第二数据块的校验值确定的校验值；

根据所述第一校验值及所述第二校验值确定所述第一副本、所述第二副本是否存在异常的检测结果。

在上述的实施方式中，针对目标文件集的第一副本和第二副本，可以直接利用第一副本和第二副本的校验值进行比对，若第一副本和第二副本的数据未出现错误，则第一副本和第二副本的校验值相同，若第一副本和第二副本的数据出现错误，则第一副本和第二副本的校验值不同，如此，可以快速实现第一副本和第二副本是否存在异常的检测，有利于降低检测过程中的运算量。

结合第一方面，在一些可选的实施方式中，

所述第一副本包括多个第一组件，所述多个第一组件中的每个第一组件包括多个第一数据块，所述第二副本包括多个第二组件，所述多个第二组件中的每个第二组件包括多个第二数据块；

在获取目标文件集的第一副本的第一校验值及所述目标文件集的第二副本的第二校验值之前，所述方法还包括：

针对所述多个第一组件中的每个第一组件，通过所述校验算法对每个所述第一组件中的所有第一数据块的校验值进行运算，得到表征所述每个第一组件的校验值，所述第一数据块的校验值为：通过所述校验算法对存储后的第一数据块中的第一数据进行运算得到的校验值；

通过所述校验算法，对所述多个第一组件对应的校验值进行运算，得到表征所述第一副本的所述第一校验值；