[发明专利]一种重复数据删除方法和装置

权利要求书

1.一种重复数据删除方法，其特征在于，高速缓冲存储器中存储有数据指纹与存储数据的缓存块的对应关系，所述方法包括：

计算待处理数据对应的第一数据指纹；

若已存储的数据指纹中存在与所述第一数据指纹匹配的第二数据指纹，判断所述高速缓冲存储器中所述第二数据指纹对应的缓存块中是否存在目标数据；

若存在，从所述第二数据指纹对应的缓存块中读取所述目标数据并将所述待处理数据与所述目标数据逐字节比较，以便在确定所述待处理数据与所述目标数据字节完全相同时删除所述待处理数据。

2.根据权利要求1所述的方法，其特征在于，若判断所述高速缓冲存储器中所述第二数据指纹对应的缓存区域中不存在目标数据，所述方法还包括：

从磁盘中读取所述目标数据并将所述待处理数据与所述目标数据逐字节比较，以便在确定所述待处理数据与所述目标数据字节完全相同时删除所述待处理数据。

3.根据权利要求1所述的方法，其特征在于，所述高速缓冲存储器包括第一缓存区域和第二缓存区域，所述第一缓存区域中的缓冲块所缓存的数据是根据高速缓冲存储器确定的，所述第二缓存区域中的缓冲块所缓存的数据是由重复数据删除模块确定的。

4.根据权利要求3所述的方法，其特征在于，所述第二缓存区域中的缓冲块所缓存的数据是重复数据删除率满足预设条件的数据。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述高速缓冲存储器数据指纹与存储数据的缓存块的对应关系是由所述重复数据删除模块建立的。

6.一种重复数据删除装置，其特征在于，高速缓冲存储器中存储有数据指纹与存储数据的缓存块的对应关系，所述装置包括计算单元、判断单元和第一比较单元：

所述计算单元，用于计算待处理数据对应的第一数据指纹；

所述判断单元，用于若已存储的数据指纹中存在与所述第一数据指纹匹配的第二数据指纹，判断所述高速缓冲存储器中所述第二数据指纹对应的缓存块中是否存在目标数据；

所述第一比较单元，用于若所述判断单元判断所述高速缓冲存储器中所述第二数据指纹对应的缓存块中存在所述目标数据，从所述第二数据指纹对应的缓存块中读取所述目标数据并将所述待处理数据与所述目标数据逐字节比较，以便在确定所述待处理数据与所述目标数据字节完全相同时删除所述待处理数据。

7.根据权利要求6所述的装置，其特征在于，若所述判断单元判断所述高速缓冲存储器中所述第二数据指纹对应的缓存区域中不存在目标数据，所述装置还包括第二比较单元：

所述第二比较单元，用于从磁盘中读取所述目标数据并将所述待处理数据与所述目标数据逐字节比较，以便在确定所述待处理数据与所述目标数据字节完全相同时删除所述待处理数据。

8.根据权利要求6所述的装置，其特征在于，所述高速缓冲存储器包括第一缓存区域和第二缓存区域，所述第一缓存区域中的缓冲块所缓存的数据是根据高速缓冲存储器确定的，所述第二缓存区域中的缓冲块所缓存的数据是由重复数据删除模块确定的。

9.根据权利要求8所述的装置，其特征在于，所述第二缓存区域中的缓冲块所缓存的数据是重复数据删除率满足预设条件的数据。

10.根据权利要求6-9任一项所述的装置，其特征在于，所述高速缓冲存储器数据指纹与存储数据的缓存块的对应关系是由所述重复数据删除模块建立的。