[发明专利]改进的基于虚拟磁盘文件的流式增量备份方法及装置

说明书

本发明公开了改进的基于虚拟磁盘文件的流式增量备份方法及装置，扫描增量文件链中虚拟磁盘文件元数据，提前计算好差异数据量，以确定每个元数据在整个输出的虚拟磁盘文件流的偏移量；在内存中开辟一块连续区域用以存放某一组元数据；输出差异数据时并不输出该组元数据，只更新内存中的该组元数据，在该组元数据相应的若干数据块完成差异数据输出后输出内存中的该组元数据。本发明不通过文件系统中转，以流的方式直接上传，因此可以解决现有的文件系统中转带来的文件系统本身的不可靠、容量占用大、性能不高的问题；由于开辟的连续区域用于存放某一组元数据而非全部元数据，因此可以減少内存占用，尤其在大文件、元数据量比较大时比较有价值。

技术领域

本发明涉及云计算、虚拟化、增量备份、灾备的技术领域，尤其涉及改进的基于虚拟磁盘文件的流式增量备份方法及装置。

背景技术

虚拟磁盘文件通常由元数据和数据部分构成，元数据以块为单位管理数据，通常一个元数据单位可以管理多个数据块。

增量备份是指在一次全备份或上一次增量备份后，以后每次的备份只需备份与前一次相比增加或者被修改的数据，现在的导致增量技术通常在识别到第一个差异数据块分配并输出一个元数据单位，之后如果再属于这个元数据单位管理的数据块时，输出这个数据块的同时修改之前已经输出的元数据单位，这就要求输出的目标端需要有随机写入的特性，通常是文件系统。

但如果输出的目标端是流式(比如对象存储，通过http网络协议访问)，不具备随机写，只有追加写的功能时，就无法满足；或者只能先完整输出到文件系统后，再以流式上传。

现有技术方案通过先完整输出到文件系统，之后再流式上传，其缺点是，文件系统会成为可靠性、性能以及容量的瓶颈，尤其在并发量大的情况更为严重。

发明内容

为了克服现有技术的不足，本发明的目的在于提供改进的基于虚拟磁盘文件的流式增量备份方法及装置，旨在解决现有的文件系统中转带来的文件系统本身的不可靠、容量占用大、性能不高的问题。。

本发明的目的采用以下技术方案实现：

一种改进的基于虚拟磁盘文件的流式增量备份方法，包括：

确定步骤，扫描需要备份的增量文件链中虚拟磁盘文件元数据，计算出差异数据量，并根据差异数据量确定元数据偏移量；所述增量文件链为具有链式关系的增量虚拟磁盘文件；所述元数据偏移量包括每个元数据在最终输出的虚拟磁盘文件流的偏移量，每个元数据对应若干数据块；

存放步骤，将元数据分为若干组，每组元数据中包含一个、两个或多个元数据；在内存中开辟一块连续区域用以存放某一组元数据；

输出步骤，扫描内存中的该组元数据，如果该组元数据显示数据有差异，则根据该组元数据信息读取差异数据并输出到虚拟磁盘文件流，且输出差异数据时并不输出该组元数据，只更新内存中的该组元数据；在与该组元数据相应的若干数据块完成差异数据输出后，根据元数据偏移量，输出内存中的该组元数据到虚拟磁盘文件流。

在上述实施例的基础上，优选的，所述确定步骤后，还包括：

头部步骤，输出增量文件链的头部到虚拟磁盘文件流，所输出的头部包含元数据偏移量。

在上述任意实施例的基础上，优选的，所述存放步骤，还包括：

将所开辟的连续区域初始化为零。

在上述任意实施例的基础上，优选的，所述确定步骤中，元数据偏移量满足：使元数据位于最终输出的虚拟磁盘文件流的末端。

或者，优选的，所述确定步骤中，元数据偏移量满足：使每个元数据位于最终输出的虚拟磁盘文件流中，且位于该元数据相应的若干数据块之后。

一种改进的基于虚拟磁盘文件的流式增量备份装置，包括：