[发明专利]一种冗余数据标记及去除方法

权利要求书

1.一种冗余数据标记及去除方法，其特征在于，所述方法包括以下步骤：

写入文件时，对所述文件进行动态可变长分割，形成不同长度的多个数据块；对所述多个数据块进行分组，得到数据块组，并计算每个数据块以及所述数据块组的布隆值；

对所述数据块的布隆值进行处理，形成所述数据块的特征值；

判断所述数据块的特征值是否存在于元数据库中；若所述元数据库中已存在所述数据块的特征值，则再次计算所述数据块的布隆值，将其与元数据库中各个数据块组的布隆值进行比较，定位所述数据块的相似组，确定冗余数据块；

标记所述冗余数据块，并根据预定的策略删除或保留所述冗余数据块。

2.根据权利要求1所述的方法，其特征在于，若所述元数据库中不存在所述数据块的特征值，则将所述数据块写入某一数据块组中，同时将所述数据块的特征值作为所述数据块的索引保存在元数据库中。

3.根据权利要求1所述的方法，其特征在于，采用内存自动映射的特征图技术，根据文件的属性对所述文件进行动态可变长分割。

4.根据权利要求3所述的方法，其特征在于，当计算所述数据块的特征值时，通过滑动窗口，根据所述数据块的原特征值，特征值滑入值和滑出值，计算滑动区间的数据特征值。

5.根据权利要求1所述的方法，其特征在于，所述对所述多个数据块进行分组，得到数据块组，包括：

对数据块的特征值进行提取，将获取到的所述数据块的特征值与元数据库中数据块的特征值进行相似性拟合，将所述数据块归类到不同的相似组中，在每个相似组中，建立相似组文件数据块索引。

6.根据权利要求1所述的方法，其特征在于，所述将其与元数据库中各个数据块组的布隆值进行比较，定位所述数据块的相似组，包括：

根据布隆值计算所述数据块与元数据库中数据块组之间的相似值，若所述相似值超过系统设定的相似度阈值，则将当前文件数据块的抽样数据对应的数据块组作为所述数据块的相似组。

7.根据权利要求6所述的方法，其特征在于，动态调整所述相似度阈值。

8.根据权利要求6所述的方法，其特征在于，每个相似组中，各文件的抽样特征值构成了该组的特征值索引，同一相似组中的所有数据块的特征值保存在该分组的元数据中。

9.根据权利要求1所述的方法，其特征在于，所述元数据库存储有数据块和数据块组的相关属性信息，包含读写时间、冗余标记、对象大小、存放路径。

10.根据权利要求6所述的方法，其特征在于，当系统收到对目标文件的操作请求时，执行以下处理步骤：

判断目标文件是否为经过冗余标记的文件；

若所述目标文件未经过冗余标记操作，则直接对所述目标文件执行所请求的操作；

若所述目标文件经过冗余标记操作，且有冗余内容，则获取所述目标文件的元文件数据，确定操作请求的目标数据块组及目标数据块的路径；

执行并完成对所述目标文件所请求的操作。