[发明专利]一种虚拟机备份数据重复数据删除方法

说明书

技术领域

本发明涉及信息安全领域中的数据保护领域、涉及云计算领域内的虚拟机数据保护领域，尤其涉及一种虚拟机备份数据重复数据删除方法。

背景技术

在虚拟机备份时，特别是完全备份时，Hypervisor会将虚拟机中虚拟磁盘的每个数据块都发送给备份代理。在这些数据块中，有部分数据块的数据完全一样，而且，有很大部分数据块全部为0，因此，在虚拟机备份存储时，可以将全0数据块、重复数据去除，从而提高存储速度、降低存储空间占用。传统的重复数据删除技术不区别对待全0数据块，因为在非虚拟化环境下出现的概率较小，重复数据删除时，还需计算全0数据块的散列值，这个计算非常耗时。同时，大多做在文件系统层，为全局重复数据删除，此技术在实际使用过程中存在计算资源占用量大，数据安全风险高的缺点。

发明内容

本发明提出专门针对虚拟机备份数据的重复数据删除方法，为局部重复数据删除，范围限定在虚拟机中一个虚拟磁盘备份数据内部。通过对重复数据块的检测和消除、特别对全0数据块的检测和消除，提高备份系统中备份存储过程中备份速度，减少备份数据存储资源的占用，同时降低全局重复数据删除带来的数据安全风险。由于虚拟机数据以虚拟磁盘为单位，因此，本发明只描述单个虚拟磁盘的重复数据删除，整个虚拟机备份数据的重复数据删除为按照先后顺序对该虚拟机所有的虚拟磁盘的备份数据进行重复数据删除。

本发明涉及一种虚拟机备份数据重复数据删除方法，定义的数据结构包括：

定义重删元数据记录L数据结构，至少包括虚拟偏移量L_v，存储偏移量L_t，长度L_e，状态L_s；

定义哈希表重删记录D数据结构，至少包括存储偏移量Dt，长度De；

本发明包括以下步骤：

步骤1，虚拟机备份数据重复数据删除步骤，包括：

步骤101，初始化，从配置文件Fs中读出所需参数的步骤；

步骤102，接收需要写入的数据长度E，数据内容Dz，计算数据块数N，设n=0的步骤；

步骤103，创建备份数据元数据文件Fb、备份数据存储文件Fw,设备份数据存储文件偏移量q=0,设备份数据偏移量V=0，将Fb、Fw的绝对路写入到配置文件Fs中的步骤；

步骤104，创建哈希表K的步骤；

步骤105，获得备份数据偏移量V，长度为分块长度S的写入数据Dw、写入数据长度Dwt的步骤；

步骤106，判断写入数据长度Dwt是否等于分块长度S，如是转步骤107，否转步骤121；

步骤107，设j=0，设M=0,计算Dw按照64bit划分的长度Ds的步骤；

步骤108，执行M和Dw[j*8]或运算的步骤；

步骤109，判断M是否为0，如是转步骤110，否则转步骤115；

步骤110，j自加1的步骤；

步骤111，判断j小于Ds，如是转步骤112，否则转步骤108；

步骤112，向备份数据元数据文件Fb添加一条备份数据为全零的记录L_n的步骤；

步骤113，n自加1，V自加分块大小S的步骤；

步骤114，判断n<N，如是转步骤105，否则转步骤123；

步骤115，计算写入数据Dw的散列值hw的步骤；

步骤116，判断Dw是否为重复数据，如是转步骤117，否则转步骤118；

步骤117，从K_x中得到D，向备份数据元数据文件Fb添加一条备份数据为重复数据的记录L_n的步骤；

步骤118，压缩Dw，获得内容Dwc，长度Dwe，在备份数据存储文件偏移量为q处，写入压缩内容Dwc的步骤；

步骤119，向备份数据元数据文件Fb添加一条备份数据为新数据的记录L_n的步骤；

步骤120，设置D的值，Dt=q,De=Dwe,添加<hw,D>到哈希表K中，设置q=q+Dwe，转步骤113；

步骤121，压缩Dw，获得内容Dwc，长度Dwe，在备份数据存储文件偏移量为q处，写入压缩内容Dwc的步骤；

步骤122，向备份数据元数据文件Fb添加一条备份数据为新数据的记录L_n的步骤；

步骤123，结束；

步骤2，虚拟机备份数据读出及还原的步骤，包括：