[发明专利]一种并发层次式的重复数据消除方法和系统

权利要求书

1.一种并发层次式的重复数据消除方法，其特征在于，所述方法，包括下列步骤：

步骤100.输入装置接收到外部输入的数据，并将所述数据放入共享缓冲队列；

步骤200.多个分块装置并行地从所述缓冲队列中获取所述数据并进行分块，并将划分后的块输入给多个粗粒度去重装置进行粗粒度去重；

步骤300.所述粗粒度去重装置进行粗粒度去重，判断数据块是否重复，若是，则执行步骤500，否则执行步骤400；

步骤400.细粒度去重装置对非重复的数据块执行细粒度的去重，并将去重后的数据块及其索引信息通过数据读写子系统存入存储器；

步骤500.将重复数据块的索引信息通过数据读写子系统写入存储器。

2.根据权利要求1所述的并发层次式的重复数据消除方法，其特征在于，所述共享缓冲队列具有一个上限，当所述共享缓冲队列中数据对象的个数超过预定值时，所述输入装置就停止工作一段时间，等待分块装置进行处理。

3.根据权利要求1所述的并发层次式的重复数据消除方法，其特征在于，所述步骤300，包括下列步骤：

步骤310.块去重装置计算每个数据块的特征值，并将所述特征值存入存储器中；

步骤320.根据特征值从存储器中检索是否存在相同特征值的数据块，若是，则执行步骤500，否则执行步骤400。

4.根据权利要求1所述的并发层次式的重复数据消除方法，其特征在于，所述步骤400，包括下列步骤：

步骤410.所述数据读写子系统将所述去重后的数据块写入存储器中的数据块仓库中；

步骤420.所述数据读写子系统形成所述去重后的数据块所属文件的索引信息，写入存储器中的文件索引表中；

步骤430.所述数据读写子系统形成所述去重后的数据块在所述数据块仓库中的位置的索引信息，写入存储器中的数据块索引表中。

5.根据权利要求1所述的并发层次式的重复数据消除方法，其特征在于，所述重复数据块的索引信息，是指重复数据块所属文件的索引信息和其在所述存储器中的位置的索引信息。

6.根据权利要求1所述的并发层次式的重复数据消除方法，其特征在于，所述细粒度去重装置是字节级去重装置，采用现有的LZW、LZ77压缩算法。

7.根据权利要求1所述的并发层次式的重复数据消除方法，其特征在于，步骤300和400中先粗粒度再细粒度的去重，是采用先进行文件级的重复数据消重，再进行数据块级的重复数据消重，然后进行字节级的重复数据消重。

8.根据权利要求1所述的并发层次式的重复数据消除方法，其特征在于，所述方法，还包括：

步骤600.数据读取和组合装置调用所述数据读写子系统的接口根据索引信息从存储器中读取数据块，并对数据块进行组合形成数据对象，由输出装置输出给用户。

9.根据权利要求8所述的并发层次式的重复数据消除方法，其特征在于，所述步骤600，包括下列步骤：

步骤610.所述数据读取和组合装置读取文件索引信息，获取该文件所引用的数据块标志；

步骤620.所述数据读取和组合装置根据数据块标志依次读取数据内容；

步骤630.所述数据读取和组合装置对数据内容进行组合形成数据对象，由输出装置输出给用户。

10.一种并发层次式的重复数据消除系统，其特征在于，所述系统，包括：一个输入装置、多个分块装置、多个粗粒度去重装置、多个细粒度去重装置、一个数据读写子系统和存储器，其中：

所述输入装置，用于接收外部输入的数据，并将所述数据放入共享缓冲队列；

所述分块装置，用于并行地从所述缓冲队列中获取所述数据并进行分块得到多个数据块，并将多个数据块输入给多个粗粒度去重装置进行粗粒度去重；

所述粗粒度去重装置，用于对多个数据块进行粗粒度去重，并判断所述数据块是否重复，若是，则只将重复数据块的索引信息通过数据读写子系统写入存储器，否则触发细粒度去重装置；

所述细粒度去重装置，用于对非重复的数据块执行字节级的去重，并将去重后的数据块及其索引信息通过数据读写子系统存入存储器；

所述数据读写子系统，用于从所述存储器中写入或读出去重后的数据块。