[发明专利]一种数据备份方法、恢复方法、计算机设备和存储介质

说明书

一种数据备份方法、恢复方法、计算机设备和存储介质。本发明提供了一种数据备份、数据恢复方法，备份如下：S11.初始化一个哈希表HTB，哈希表HTB的关键码为数据块指纹，值为该数据块指纹在本次备份中的出现次数；S22.对每个被数据去重处理过的数据块的数据块指纹，查找所述数据块指纹是否存在于哈希表HTB中：S2201.如果存在，将其出现次数加1；S2202.如果不存在，插入一条记录到哈希表HTB中，记录的关键码为该数据块的指纹，值为其出现次数，赋值为1；S33.重复步骤S22直到备份结束，并将哈希表HTB中所有出现次数大于等于2的数据块指纹和出现次数写入磁盘。通过在备份过程中收集自引用数据块信息，并在恢复过程中将自引用数据块保存在内存中以消除自引用碎片块导致的磁盘读操作，提高恢复性能。

技术领域

本发明涉及数据存储技术领域，尤指一种数据备份方法、恢复方法、计算机设备和存储介质。

背景技术

数据备份是重要的数据保护方式，重要的数据可以按照一定的频率(例如一天或一周)进行副本保存；当某次备份的数据需要再次读取时，可以把相应的备份数据恢复出来使用。由于备份的频率一般较高，其间被修改的数据量一般较小，因此数据备份系统中一般都存在大量的冗余数据。据统计，EMC和赛门铁克公司的商用备份服务器中冗余数据量高达88-90％。

因此，我们需要采取数据去重技术来消除掉完全相同的数据块，即数据备份系统中常用的冗余消除技术。数据去重技术包括如下三个环节：数据分块、指纹计算和指纹索引。待备份数据会在数据分块环节被切割成数据块；指纹计算环节会为每个分割好的数据块计算一个指纹来标记该数据块，指纹相同则表示对应的数据块相同，常用的指纹计算方法包括MD5和SHA-1等；指纹索引环节则通过匹配指纹来确定各数据块是否重复。

当数据去重技术应用于备份系统中时，如果数据块不重复，系统会保存该数据块并更新指纹库；如果重复，则系统会标识出系统中已保存的重复数据块的位置信息，而不再重复保存该数据块。需存储的数据块会打包成固定长度(一般为4MB)的容器写入备份存储系统。备份结束时，系统会写入备份数据流的指纹序列，所述指纹序列被称为文件谱。恢复数据时，系统会根据文件谱读取指纹序列，并根据指纹序列查找对应的数据块来重组文件。

由于备份数据流存在一定的局部性，所需的数据块可能会连续出现在同一个容器中，而为了减少磁盘访问次数，在数据恢复时，系统是以容器为单位读取数据的，会在内存中维护一个恢复缓存，该恢复缓存的替换单位为容器，所有包含待恢复文件所需数据块的容器(称为引用容器)会被读取到恢复缓存中。

虽然数据去重技术极大地降低了存储成本，但是也会引起数据块的碎片化，即单个版本的数据块分散在大量的容器中。由于恢复缓存的磁盘随机读性能较差，待恢复文件涉及到的引用容器越多，备份系统的数据恢复性能越差。

附图1给出了一个碎片化的简化例子。假设有三个备份，每个备份包含12个数据块，每个数据块用一个字母表示，字母相同则表示数据块相同，深色背景的数据块表示备份3包含的数据块。备份1包含12个非重复数据块，备份结束后12个数据块分别存在了容器Ⅰ、Ⅱ和Ⅲ中；备份2包含8个重复数据块和4个非重复数据块，4个非重复数据块存在容器Ⅳ中。备份3也包含8个重复数据块和4个非重复数据块，4个非重复数据块存在容器Ⅴ中。

从图1可以看到，备份1的数据块集中存放在前三个容器中，而备份3的数据块分散在5个容器中。因此，在恢复备份3时，容器Ⅰ和Ⅱ会被读取到恢复缓存中以提供备份3所需的数据块A和G，但是容器Ⅰ和Ⅱ中包含的有效数据块太少，所以，这两次读取是不划算的。我们将某次备份有效数据块占容器中所有数据块的比率(即容器利用率)低于一个预设值(一般为)的容器称为稀疏容器，而稀疏容器包含的有效数据块被称为碎片块。

例如，对备份3来说，容器Ⅰ和Ⅱ就是稀疏容器，而数据块A和G是碎片块。而每个备份文件包含的数据块的个数是确定的，碎片块越多则表示稀疏容器越多，从而引用容器就越多。因此，碎片块的存在会显著降低系统的恢复性能。