[发明专利]基于应用感知的重复数据删除存储系统中的数据重构方法

摘要

基于应用感知的重复数据删除存储系统中的数据重构方法，涉及计算机存储领域。充分利用所备份文件的文件类型信息，对所有文件按文件类型进行分类，再按文件类型对文件进行备份，以提高数据读取时的数据重构速度。由并行的数据写入阶段和数据读取阶段组成，所述备份文件的数据写入阶段由文件分类步骤、文件分块步骤、哈希指纹计算步骤、重复数据删除步骤和数据写入步骤顺序组成；所述备份文件的数据读取阶段由文件分类信息获取步骤、文件指纹信息获取步骤、文件数据块获取步骤、数据重构完成步骤顺序组成。通过改变传统重复数据删除过程中的数据写入方法以提高数据读取时的数据重构速度。

主权项

基于应用感知的重复数据删除存储系统中的数据重构方法，其特征在于包括并行的备份文件的数据写入阶段和备份文件的数据读取阶段；所述备份文件的数据写入阶段，包括以下步骤：(1)文件分类步骤，进行下列过程：递归遍历备份路径下的所有文件，统计所有出现的文件类型和每个类型的所有文件及其路径，以生成分类树和备份版本号；转步骤(2)；(2)文件分块步骤，对同一类型的文件进行下列过程：(2.1)遍历此类型下的全部文件，依次打开步骤(1)提供的对同一类型的所有文件及其路径；转过程(2.2)；(2.2)对每个文件路径，创建一个块结构体并标记文件开始；转过程(2.3)；(2.3)读取过程(2.2)中文件路径里的数据内容，创建一个块结构体并在此块结构体中存储文件数据内容，直至文件结束；除最后一个块结构体外，文件结构体中的数据大小固定的；转过程(2.4)；(2.4)创建一个块结构体并标记文件结束，并把所有创建的块结构体保存到一个块结构体队列中；判断同类型文件是否都已完成分块，若是，则转步骤(3)，否则转步骤(2)；(3)哈希指纹计算步骤，进行下列过程：根据过程(2.4)得到的块结构体队列，依次调用哈希函数计算每个块结构体数据部分的哈希值，然后创建一个相应的块结构体以保存其哈希值，把本过程创建的块结构体保存到一个哈希指纹队列中，并将标记文件开始和结束的块结构体也保存到哈希指纹队列中；转步骤(4)；(4)重复数据删除步骤，进行下列过程：(4.1)将步骤(3)中的哈希指纹队列的一个块结构体包含的哈希指纹在键值表中进行查找，键值表是存储所有哈希指纹及对应存储地址的索引表，若键值表中找到一致的哈希指纹，则将此块结构标记为重复，否则将此哈希指纹及其对应存储地址写入键值表中；(4.2)判断所有数据块是否都已经完成哈希指纹查找步骤即步骤(3)中创建的哈希指纹队列中所有块结构体中的哈希指纹都已在键值表中完成查找，若是，则转步骤(5)，否则转过程(4.1)；(5)数据写入步骤，进行下列过程：(5.1)判断过程(4.1)中的块结构体标记的数据块是否是重复的，若是，则记录该数据块在磁盘上的位置，否则将该数据块添加到存储缓存中；转过程(5.2)；(5.2)将存储缓存中的块结构体、元数据文件、键值表和哈希指纹队列写入磁相应位置；转过程(5.3)；(5.3)判断所有文件类型是否都已完成写入操作，若是，则备份文件的数据写入阶段结束，否则转步骤(2)；所述备份文件的数据读取阶段，包括以下步骤：(6)文件分类信息获取步骤，进行下列过程：根据需要读取的备份文件的版本号获取相应的备份文件的分类树，统计此备份版本中出现的所有文件类型，对同一类型的文件进行步骤(7)；(7)文件指纹信息获取步骤，进行下列过程：读取元数据文件，查找此备份版本中的全部哈希值队列；转步骤(8)；(8)文件数据块获取步骤，进行下列过程：根据哈希指纹队列中的指纹信息查询键值表，读取对应的数据块；转步骤(9)；(9)数据重构完成步骤，进行下列过程：递归创建备份文件目录，根据元数据文件将读取到的数据块重构到指定路径下，判断所有类型的数据是否都已经读取完毕，若是，则备份文件的数据读取阶段结束，否则转步骤(7)。