[发明专利]一种打包文件备份过程中数据去重碎片消除方法

摘要

本发明公开了一种打包文件备份过程中数据去重碎片消除方法，由于打包数据集的特性，导致大量被重写的碎片块在之后的备份过程中，仍然被识别为碎片块，因此被重写算法不断地重复重写，这种被反复重写的碎片块，我们称为持久性碎片块，它会严重降低系统的恢复性能。因此我们首先识别持久性碎片块，然后构建了碎片容器用于存储持久性碎片块、正常容器用于存储非持久性碎片块。大量持久性碎片块不是碎片块，写入碎片块数量会减小，容器的平均利用率会增加，重复重写率得到下降；容器包含了更多的有效块，需要读取的容器数量减少了，恢复性能得到显著提高。

主权项

1.一种打包文件备份过程中数据去重碎片消除方法，其特征在于，该方法包括以下步骤：S1.打包文件分块后，计算每个数据块的指纹；S2.基于指纹比对判断数据块为重复块还是唯一块并标记，将标记后的数据块写入同一队列；S3.判断所述队列中的数据块为重复块还是唯一块，若为重复块，进入步骤S4，若为唯一块，将其写入正常容器；S4.判断所述重复块为碎片块还是非碎片块，若为碎片块，进入步骤S5；若为非碎片块，不做任何处理；S5.判断所述碎片块为持久性碎片块还是非持久性碎片块，若为持久性碎片块，将其写入碎片容器，若为非持久性碎片块，将其写入正常容器；S6.如果碎片容器的大小达到容器的预设值，将所述碎片容器缓冲区中的数据将被直接刷新到磁盘中；如果正常容器的大小达到容器的预设值，将所述正常容器缓冲区中的数据将被直接刷新到磁盘中；S7.重复步骤S3‑S6直至所述队列中的数据块均处理。