[发明专利]一种数据测试方法、装置、设备及存储介质

权利要求书

1.一种数据测试方法，其特征在于，所述方法包括：

读取分布式文件系统中的旧数据，所述旧数据包括当前时间之前写入的数据；

确定所述旧数据对应的第一循环冗余校验CRC值；

基于所述旧数据的偏移量以及预先记录的偏移量与CRC值的对应关系确定旧数据对应的第二CRC值；

将所述第一CRC值和所述第二CRC值进行比较，得到所述旧数据的正确性。

2.根据权利要求1所述的方法，其特征在于，所述偏移量与CRC值的对应关系的记录步骤，包括：

首次写入数据时，计算所述首次写入数据对应的CRC值和偏移量，并记录所述偏移量与CRC值的对应关系；

在所述写入数据被覆盖的情况下，计算覆盖数据对应的CRC值；

将所述覆盖数据对应的CRC值替换所述对应关系中的CRC值。

3.根据权利要求2所述的方法，其特征在于，所述写入数据被覆盖，包括：

所述覆盖数据的偏移量大于最大偏移量。

4.根据权利要求1所述的方法，其特征在于，所述分布式文件系统中的旧数据通过输入输出IO模型写入，所述IO模型的写入方式包括如下至少一种：

部分覆盖、包含边界的完全覆盖、不包含边界的完全覆盖、追加写、空洞写。

5.根据权利要求1所述的方法，其特征在于，所述读取分布式文件系统中的旧数据，包括：

在所述分布式文件系统中写入新数据的过程中，读取分布式文件系统中的旧数据，其中，所述新数据的写入时间晚于所述旧数据的写入时间。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

计算所述分布式文件系统中全量数据的第一信息摘要算法MD5值；

计算本地文件系统中全量数据的第二MD5值，所述本地文件系统中的数据与分布式文件系统中的数据同时写入；

将所述第一MD5值和所述第二MD5值进行比较，得到所述全量数据的正确性。

7.一种数据测试装置，其特征在于，所述装置包括：

旧数据读取模块，用于读取分布式文件系统中的旧数据，所述旧数据包括当前时间之前写入的数据；

第一CRC值确定模块，用于确定所述旧数据对应的第一循环冗余校验CRC值；

第二CRC值获取模块，用于基于所述旧数据的偏移量以及预先记录的偏移量与CRC值的对应关系确定旧数据对应的第二CRC值；

CRC值比较模块，用于将所述第一CRC值和所述第二CRC值进行比较，得到所述旧数据的正确性。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：对应关系记录模块；

所述对应关系记录模块，用于首次写入数据时，计算所述首次写入数据对应的CRC值和偏移量；将所述首次写入数据对应的CRC值作为第二CRC值，并记录所述偏移量与CRC值的对应关系；在所述写入数据被覆盖的情况下，计算覆盖数据对应的CRC值；将所述覆盖数据对应的CRC值替换所述对应关系中的第二CRC值。

9.根据权利要求8所述的装置，其特征在于，所述写入数据被覆盖，包括：

所述覆盖数据的偏移量大于最大偏移量。

10.根据权利要求7所述的装置，其特征在于，所述分布式文件系统中的旧数据通过输入输出IO模型写入，所述IO模型的写入方式包括如下至少一种：

部分覆盖、包含边界的完全覆盖、不包含边界的完全覆盖、追加写、空洞写。

11.根据权利要求7所述的装置，其特征在于，所述旧数据读取模块，具体用于，在所述分布式文件系统中写入新数据的过程中，读取分布式文件系统中的旧数据，其中，所述新数据的写入时间晚于所述旧数据的写入时间。