[发明专利]一种基于指纹的数据备份系统

说明书

技术领域

本发明属于计算机存储备份领域，具体涉及一种数据备份系统。

背景技术

在当今这个知识爆炸的信息时代，无论对企业还是个人来说，数据都是一项弥足珍贵的资源。数据丢失轻则影响企业业务连续性，使其丧失一时的竞争优势，重则能使一个企业破产倒闭。引起数据丢失的原因很多，包括系统软硬件故障、人为操作失误或破坏以及不可抗拒力(自然灾害、战争)等。为了保护数据免遭不测，传统的方法是周期性地把数据拷贝到可移动的媒介比如磁带、光盘上，然后再离线运送到一个相对安全的地方以便在必要时恢复这些数据。应当指出，这种传统的数据保护方法存在一些明显的缺点：(1)、可移动的存储介质比如磁带、光盘等随着时间的流逝，会出现磨损或损坏使其存储可靠性降低因而不适合作数据的长期存储介质。(2)、作为备份大容量数据的常用存储媒介的磁带，其读写速度往往很慢，而且由于是顺序存储设备，在恢复数据时通常会出现频繁的机械倒带操作，如果备份数据分布在几条磁带上，还需费时的装卸操作。这使得利用磁带进行数据备份和恢复是一件相当耗时的工作。(3)、需要雇用专人把备份数据运送到远程站点，并且保证运输和储存过程中的数据安全。由此可以看出，传统的数据备份需要人工介入完成许多任务，是一项代价高昂的、繁琐的工作。为了提高数据备份和恢复的效率，克服传统的数据保护技术的缺点，近二十年来，世界上一些知名的IT企业或研究机构研制出了形形色色的数据备份系统。包括IBM的TotalStorage，HP的OpenView存储镜像软件、CASA、XPCA以及EVACA，EMC的SRDF和MirrorView，VERITAS的NetBackup等等。这些商业系统没有重复数据删除功能，为了存储在备份中产生的大量冗余数据，往往需要使用磁盘到磁带(D2T)技术，即使用高速磁盘作为备份缓冲区以提高在线备份效率，然后在后台把磁盘缓冲区中的备份数据迁移到磁带库或光盘库等低速大容量的存储媒介上，故其后台存储设备还是需要耗费大量的人力物力进行日常维护。由于磁盘存储较磁带存储具有管理方便、存取速度快等优点，随着磁盘存储技术的发展，使用磁盘存储数据的备份系统越来越受到重视。目前的磁盘存储技术能够很容易搭建一个TB甚至PB级的磁盘存储系统。每比特磁盘存储的价格越来越便宜使得利用磁盘永久归档数据变得现实起来。对于一个基于磁盘的数据备份系统来说，备份数据永久存储于磁盘而不擦除具有许多优点：首先，数据可以连续地写到磁盘上，不会因为空间回收而产生磁盘碎片，其次，用户的数据历史得到完整的保存，用户可以很方便地浏览文件的任一历史版本，第三，有利于保护用户的备份数据，避免了用户误操作而删除重要的数据。然而，对于一个永久存储的基于磁盘的备份系统来说，最大的挑战来源于用户不断增加的备份数据。通常，企业的数据具有高度的冗余，大量重复的数据和文件存储在系统中，一个文件的多个编辑版本之间也存在大量重复的内容。目前广泛使用的基于文件的备份技术不能识别文件之间的冗余数据，导致越来越多的重复数据备份到系统中，不但降低了备份系统的磁盘空间利用率，而且无端通过网络传输了大量冗余数据，增加了数据备份的网络开销，延长了数据备份时间。

由此可见，开发一个永久存储的基于磁盘的备份系统，并采用新的数据备份技术清除备份的冗余数据，提高系统的存储效率，是具有积极意义的。

发明内容

本发明提出一种基于指纹的数据备份系统，系统采用磁盘永久存储备份数据并采用基于指纹的数据备份技术以删除备份中的冗余数据，目的在于降低数据备份的管理、存储以及网络开销，提高备份性能。

本发明的一种基于指纹的数据备份系统，包括备份服务器、备份代理、存储服务器和Web服务器，它们通过网络相互通信完成数据备份与恢复，其特征在于：

所述备份服务器装有配置文件和目录数据库，备份服务器的配置文件中记录用户定义的作业对象，作业对象包含指定系统操作作业运行的属性，备份服务器通过作业对象控制着整个数据备份和恢复的过程；目录数据库存储作业记录，作业记录保存作业对象运行的管理信息；

所述备份代理单元安装于网络中每一个需要备份数据的主机上，备份时由备份代理单元从所在主机的文件系统中读取需要备份的文件，对文件进行基于锚的分块并计算分块的指纹，把指纹和部分需要的分块数据通过网络送往存储服务器；恢复时备份代理单元通过网络从存储服务器接收文件数据并写到所在主机的文件系统中指定的目录下；