[发明专利]一种用于海量数据备份的并行作业备份方法

说明书

本发明公开了一种用于海量数据备份的并行作业备份方法。本方法为：1）选取多台备份节点组成一备份集群，各备份节点具有统一的配置；2）终端选取一备份节点作为备份管理服务器，启动待备份对象的备份策略；3）备份管理服务器选取一备份节点作为作业调度器，逐层获取该备份对象对应的目录结构，每获取一目录生成一扫描作业；4）备份管理服务器将各扫描作业及对应作业路径提交给作业调度器；作业调度器将其发送给备份节点对扫描作业中的目标目录进行扫描；5）该备份管理服务器选取待备份文件并生成若干文件子表；根据每一子表生成一拷贝作业发送给作业调度器；6）作业调度器将不同拷贝作业发送给不同的备份节点，将待备份文件拷贝到对应位置。

技术领域

本发明涉及一种数据备份方法，尤其涉及一种用于海量数据备份的并行作业备份方法。

背景技术

数据对一个企业、部门、单位或者个人来说是至关重要的。由于各种原因，比如设备故障、黑客病毒、人为误操作等等，一旦数据信息丢失或者被破坏，将会造成无法估计的损失，这使得数据备份变得非常重要。数据备份是一种数据安全策略，对关键数据做一个拷贝，以便在故障发生时，通过备份软件恢复数据，避免数据丢失带来的损失。

随着信息技术的不断发展，云计算、物联网、社交网络等新兴事物使得人类社会的数据种类和规模在全球范围内爆炸式增长。截止到2012年，数据量已经从TB(1TB＝1024GB)级别跃升到PB(1PB＝1024TB)、EB(1EB＝1024PB)乃至ZB(1ZB＝1024EB)级别。大数据时代的到来，同时也促进了备份需求量的迅速增长，TB及更大的海量数据给数据备份带来了新的挑战。

另外，数据的存储方式也趋于多样化：有结构化的传统关系型数据库；有非结构化的非关系型数据库；还有GFS和HDFS为代表的分布式文件系统。随着数据量和数据种类的增多，对这些数据的备份变得越来越复杂和费时。

面对海量数据，如何充分利用软硬件资源，满足不同的备份需求，快速有效的完成数据备份和恢复，是设计和研究备份系统的主要目的。现有的备份软件，存在几个问题：

1.并非针对海量数据的备份而设计。在备份过程中，最重要的就是将备份对象拷贝一份副本到别的机器上。在此过程中，很多备份软件采用单数据流方式进行数据拷贝和传输，受服务器或网络带宽限制，无法提升备份速度和容量。在对几千或几万个文件进行备份时，性能很好。但对包含千万个甚至亿个文件的海量数据时，需要几天甚至几周的时间，无法在可接受的时间范围内完成备份任务。

2.备份系统中存在单点故障的可能。有些备份系统构建了多台备份服务器，但不同的备份服务器负责不同的备份服务。一旦某台服务器故障，该台服务器上定义的备份和恢复服务就无法继续进行。

3.备份软件为了安全考虑，采用自定义的存储格式，备份文件依赖于备份软件，当软件故障时，备份文件无法提供使用，导致有备份等于无备份的结果。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种用于海量数据备份的并行作业备份方法，通过构建备份集群，提交并行作业的方式获取需要备份的海量数据列表，再根据定制的备份策略，提交并行备份作业，并以标准的linux文件格式保存备份文件。

本发明包括几个结构块：