[发明专利]数据采样去重

说明书

背景技术

数据去重指用于消除冗余数据的技术。在去重过程中,重复的数据被删除,只留下待存储的数据的一个拷贝。去重可能能够减小所需的存储容量，因为只有唯一的数据被存储。

附图说明

图1是具有数据采样去重的计算机系统的示例性方框图。

图2是使用数据采样去重来处理数据块的示例性方法的流程图。

图3A-3C是示出由具有数据采样去重的计算机系统处理的数据的例子的图。

图4是示出根据例子的存储用于提供使用数据采样去重来处理数据的方法的指令的非临时计算机可读介质的方框图。

具体实施方式

本申请公开了去重技术以帮助减少冗余数据。在一个例子中，所公开的是包括部分地基于数据块是否是采样数据块来将数据块的信息存储在索引中的技术。数据块是否是采样数据块的确定可包括检查它是否具有预定特性，该预定特性可以是确定性的并基于数据块的散列值。

在一个例子中，技术可包括接收包括第一数据块的一系列数据块以及决定第一数据块是否是采样数据块。在一个例子中，可通过检查第一数据块的散列值是否具有预定特性来做出关于数据块是否是采样数据块的决定。如果第一数据块是采样数据块以及关于第一数据块的信息不在索引中，则关于第一数据块的信息被存储在索引中。如果第一数据块不是采样数据块以及关于第一数据块的信息未存储在索引中，则部分地基于第一数据块是否在信息被存储在索引中的数据块附近来做出是否将关于第一数据块的信息存储在索引中的决定。如本文使用的，所谓术语“附近”，我们意指在该系列数据块中的正被讨论的两个块之间的距离小。在数据流102由将被顺序地存储的一系列连续数据块组成的情况下，该距离可简单地是多少个数据块分开正被讨论的两个数据块。在数据流102由具有它们应被存储到的逻辑地址的一系列数据块组成的情况下，距离可被定义为在逻辑地址之间的距离。定义距离的其它方式是可能的。以这种方式，关于哪些数据块应具有其存储在索引中的信息的决定可基于数据块的预定特性和数据块的地点的组合。

用于做出是否将信息存储在索引中的决定的这些技术可帮助减小索引的大小，因为与存储它在索引中接收的所有数据块的信息的技术比较，只有一定百分比的数据块将具有其存储在索引中的信息。如在下文进一步详细解释的，由于用于做出关于将关于数据块的信息存储在索引中的决定的这些技术，当越多的相同数据块被接收到时，则越多的数据块可具有其存储在索引中的信息，且因此越多的数据块可被去重。换句话说，如果技术接收数据块并发现关于数据块的信息已经存储在索引中，则该数据块是副本，意味着数据块的拷贝已经存储在存储系统中。此外，不是在存储系统中产生数据块的额外拷贝，该技术可引用在储存器中所存储的数据块的拷贝。

图1是用于数据采样去重的计算机系统100的示例性方框图。计算机系统100包括接收机模块106，其可接收来自数据流102的数据，例如一系列数据块。在一些例子中，数据流102作为字节序列到达计算机系统100，并接着分块成一系列数据块，其接着由接收机模块106接收。计算机系统100包括可将所接收的数据的选定数据块作为数据块116存储在存储系统104中的存储模块112。在一些例子中，存储系统104可以是计算机系统100的部分，而在其它例子中，它可以是单独的，但通过例如网络的装置耦合到计算机系统100。

计算机系统100包括采样模块108，用于决定从数据流102接收的数据块是否是采样数据块。例如，采样模块108可通过检查数据块的散列值是否具有预定特性来决定数据块是否是采样数据块。预定特性可以是散列值的确定性特性，例如对于某个固定的N，散列=0 mod N。

此外，计算机系统100包括索引器模块110，用于决定从数据流102接收的数据块中的哪些应具有关于它们的存储在索引114中的信息。例如，索引器模块110可检查关于所接收的数据块之一的信息是否存储在索引114中。在另一例子中，索引器模块110可检查数据块是否是采样数据块以及关于数据块的信息是否存储在索引114中。如果索引器模块110确定数据块是采样数据块以及关于数据块的信息未存储在索引114中，则它可将关于数据块的信息存储在索引中。