[发明专利]数据采样去重

权利要求书

1. 一种用于去重的计算机系统，包括：

索引，用于存储关于数据块的信息；

接收机模块，用于接收包括第一数据块的一系列数据块；以及

索引器模块，用于：

如果所述第一数据块是采样数据块且关于所述第一数据块的信息不在所述索引中，则将关于所述第一数据块的信息存储在所述索引中，以及

如果所述第一数据块不是采样数据块且关于所述第一数据块的信息不在所述索引中，则部分地基于所述第一数据块是否在信息被存储在所述索引中的数据块附近来决定是否将关于所述第一数据块的信息存储在所述索引中。

2. 如权利要求1所述的计算机系统，其中采样模块配置成通过检查所述第一数据块的散列值是否具有预定特性来决定所述第一数据块是否是采样数据块。

3. 如权利要求1所述的计算机系统，其中所述索引器模块配置成通过检查所述第一数据块是否在信息在所述索引中的所述系列数据块之一的预定距离内来决定所述第一数据块是否在信息被存储在所述索引中的数据块附近。

4. 如权利要求1所述的计算机系统，其中所述索引器模块配置成通过检查所述第一数据块是否在信息被存储在所述索引中的所述系列数据块中的至少预定数量的数据块附近来决定所述第一数据块是否在处于所述索引中的数据块附近。

5. 如权利要求1所述的计算机系统，其中所述索引器模块还配置成如果关于非采样数据块的信息已存储在所述索引中一段预定的时间段则从所述索引移除关于所述非采样数据块的信息。

6. 如权利要求1所述的计算机系统，其中所述索引器模块还配置成从所述索引移除关于随机非采样数据块的信息。

7. 一种去重的方法，包括：

接收包括第一数据块的一系列数据块；

决定所述第一数据块是否是采样数据块；

如果所述第一数据块是采样数据块且关于所述第一数据块的信息不在所述索引中，则将关于所述第一数据块的信息存储在所述索引中；以及

如果所述第一数据块不是采样数据块且关于所述第一数据块的信息不在所述索引中，则部分地基于所述第一数据块是否在信息被存储在所述索引中的数据块附近来决定是否将关于所述第一数据块的信息存储在所述索引中。

8. 如权利要求7所述的方法，其中决定所述第一数据块是否是采样数据块还包括检查所述第一数据块的散列值是否具有预定特性。

9. 如权利要求7所述的方法，其中决定所述第一数据块是否在处于所述索引中的数据块附近还包括检查所述第一数据块是否在信息在所述索引中的所述系列数据块之一的数据块的预定距离内。

10. 如权利要求7所述的方法，还包括如果关于非采样数据块的信息已存储在所述索引中一段预定的时间段则从所述索引移除关于所述非采样数据块的信息。

11. 如权利要求7所述的方法，还包括从所述索引移除关于随机非采样数据块的信息。

12. 一种包括用于去重的代码的非临时计算机可读介质，所述代码如果被执行则使处理器：

接收包括第一数据块的一系列数据块；

决定所述第一数据块是否是采样数据块；

如果所述第一数据块是采样数据块且关于所述第一数据块的信息不在所述索引中，则将关于所述第一数据块的信息存储在所述索引中；以及

如果所述第一数据块不是采样数据块且关于所述第一数据块的信息不在所述索引中，则部分地基于所述第一数据块是否在信息被存储在所述索引中的数据块附近来决定是否将关于所述第一数据块的信息存储在所述索引中。

13. 如权利要求12所述的计算机可读介质，还包括如果被执行则使处理器执行下列操作的代码：

通过检查所述第一数据块的散列值是否具有预定特性来决定所述第一数据块是否是采样数据块。

14. 如权利要求12所述的计算机可读介质，还包括如果被执行则使处理器执行下列操作的代码：

通过检查所述第一数据块是否在信息在所述索引中的所述系列数据块之一的数据块的预定距离内来决定所述第一数据块是否在处于所述索引中的数据块附近。

15. 如权利要求12所述的计算机可读介质，还包括如果被执行则使处理器执行下列操作的代码：

如果关于非采样数据块的信息已存储在所述索引中一段预定的时间段则从所述索引移除关于所述非采样数据块的信息。