[发明专利]一种数据处理方法、装置及计算机可读存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取多个数据块；

从所述多个数据块中至少确定出第一数据块和第二数据块，所述第一数据块具有第一哈希值，所述第二数据块具有第二哈希值，所述第一哈希值是根据设定的哈希算法对所述第一数据块进行计算获得的，所述第二哈希值是根据所述哈希算法对所述第二数据块进行计算获得的，所述第一哈希值和所述第二哈希值之间的差值小于设定的相似阈值；

将所述第一数据块和所述第二数据块进行合并并压缩。

2.如权利要求1所述的方法，其特征在于，所述设定的哈希算法具体为局部敏感哈希算法。

3.如权利要求2所述的方法，其特征在于，根据设定的哈希算法对所述第一数据块进行计算，包括：

将所述第一数据块切分为多个不同长度的子数据块；

计算所述多个不同长度的子数据块中每个子数据块的哈希值；

将所述多个不同长度的子数据块的哈希值进行合并计算，得到所述第一数据块对应的局部敏感哈希值，将所述局部敏感哈希值作为所述第一哈希值。

4.如权利要求3所述的方法，其特征在于，所述第一哈希值和所述第二哈希值之间的差值小于设定的相似阈值，包括：

所述第一哈希值和所述第二哈希值的杰卡德距离小于设定的第一距离阈值；或者

所述第一哈希值和所述第二哈希值的欧式距离小于设定的第二距离阈值；或者

所述第一哈希值和所述第二哈希值的汉明距离小于设定的第三距离阈值。

5.如权利要求1-4任一项所述的方法，其特征在于，将所述第一数据块和所述第二数据块进行合并并压缩，包括：

将所述第一数据块和所述第二数据块进行合并，对合并后的数据块进行压缩，得到目标数据块；

在将所述第一数据块和所述第二数据块进行合并并压缩之后，所述方法还包括：

在所述第一数据块对应的元数据信息中添加第一合并压缩标识，用以指示所述第一数据块的压缩方式为合并压缩；在所述第二数据块对应的元数据信息中添加第二合并压缩标识，用以指示所述第二数据块的压缩方式为合并压缩。

6.如权利要求5所述的方法，其特征在于，在将所述第一数据块和所述第二数据块进行合并并压缩之后，所述方法还包括：

在所述第一数据块对应的元数据信息中添加第一位置标识，用以指示所述第一数据块在所述目标数据块中的位置；在所述第二数据块对应的元数据信息中添加第二位置标识，用以指示所述第二数据块在所述目标数据块中的位置。

7.如权利要求1-4任一项所述的方法，其特征在于，在将所述第一数据块和所述第二数据块进行合并并压缩之前，还包括：

确定所述第一数据块和所述第二数据块进行合并并压缩后，得到的目标数据块对应的数据缩减比达到设定的缩减比阈值。

8.一种数据处理装置，其特征在于，包括通信接口和处理器，所述处理器，用于：

通过所述通信接口获取多个数据块；

从所述多个数据块中至少确定出第一数据块和第二数据块，所述第一数据块具有第一哈希值，所述第二数据块具有第二哈希值，所述第一哈希值是根据设定的哈希算法对所述第一数据块进行计算获得的，所述第二哈希值是根据所述哈希算法对所述第二数据块进行计算获得的，所述第一哈希值和所述第二哈希值之间的差值小于设定的相似阈值；

将所述第一数据块和所述第二数据块进行合并并压缩。

9.如权利要求8所述的装置，其特征在于，所述设定的哈希算法具体为局部敏感哈希算法。

10.如权利要求9所述的装置，其特征在于，所述处理器在根据设定的哈希算法对所述第一数据块进行计算时，具体用于：

将所述第一数据块切分为多个不同长度的子数据块；

计算所述多个不同长度的子数据块中每个子数据块的哈希值；

将所述多个不同长度的子数据块的哈希值进行合并计算，得到所述第一数据块对应的局部敏感哈希值，将所述局部敏感哈希值作为所述第一哈希值。