[发明专利]一种用于海量数据备份的并行作业备份方法有效

专利信息
申请号: 201710301054.5 申请日: 2017-05-02
公开(公告)号: CN108804253B 公开(公告)日: 2021-08-06
发明(设计)人: 姚秋玲;陈德清 申请(专利权)人: 中国科学院高能物理研究所
主分类号: G06F11/14 分类号: G06F11/14
代理公司: 北京君尚知识产权代理有限公司 11200 代理人: 司立彬
地址: 100049 北*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 用于 海量 数据 备份 并行 作业 方法
【权利要求书】:

1.一种用于海量数据备份的并行作业备份方法,其步骤为:

1)选取多台计算机作为备份节点组成一备份集群,各所述备份节点具有统一的配置;各磁盘阵列以逻辑卷方式与各备份节点连接,在逻辑卷上构建一备份数据库;

2)需要备份的终端选取一备份节点作为备份管理服务器,并在该备份管理服务器上启动待备份对象的备份策略;其中,所述备份对象以目录形式定义,即每一备份对象对应一目录;

3)该备份管理服务器根据该备份策略选取一备份节点作为作业调度服务器,并检查该备份数据库中是否存在该备份对象的目录信息表和文件信息表,如果没有,则建立该备份对象的目录信息表和文件信息表;然后逐层获取该备份对象对应的目录结构,每获取一目录,在该目录信息表中插入一条目录信息,并生成一扫描作业;所述扫描作业包括扫描程序名和目标目录名;

4)该备份管理服务器将各扫描作业及对应的作业路径提交给该作业调度服务器;该作业调度服务器选取若干备份节点作为执行节点,并将每一扫描作业及其对应的作业路径发送给一执行节点;各执行节点对收到的扫描作业中的目标目录进行扫描,记录该目标目录下的所有文件信息,并在该文件信息表为扫描到的每个文件插入一条文件信息;

5)该备份管理服务器根据该备份策略、目录信息表和文件信息表选取待备份文件生成一文件列表,并根据切分阈值对该文件列表进行切分,得到若干子表;

6)该备份管理服务器根据每一子表生成一拷贝作业,并将各拷贝作业发送给该作业调度服务器;所述拷贝作业包括拷贝程序名、带路径的文件名和带路径的备份文件名;

7)该作业调度服务器将不同拷贝作业发送给不同的备份节点,备份节点根据收到的拷贝作业将对应的待备份文件拷贝到该逻辑卷中对应位置。

2.如权利要求1所述的方法,其特征在于,所述备份策略中的信息包括备份对象的读取权限,备份形式,备份文件存储到哪个目录或介质中,作为作业调度服务器的备份节点,切分阈值,备份结束后需要记录和提交的日志和信息。

3.如权利要求2所述的方法,其特征在于,当该备份集群收到一终端发出的恢复该备份对象请求时,该备份集群首先审核该终端是否为该备份策略中授权的终端;如果是授权的终端,则提示该终端输入需要恢复的目录名或文件名、恢复数据的时间点和恢复目的地路径;然后根据这些输入信息查找需要恢复文件所在的备份文件,并将该备份文件拷贝到指定路径中。

4.如权利要求1或2或3所述的方法,其特征在于,所述扫描作业、所述拷贝作业均有设定的时间阈值,如果执行时间超过该时间阈值则返回失败信息给作业调度服务器;作业调度服务器为失败的所述扫描作业或所述拷贝作业选取备份节点重新执行;如果同一所述扫描作业或所述拷贝作业的执行次数超过设置阈值,则停止执行相应的作业并生成error信息写入备份日志中。

5.如权利要求1或2或3所述的方法,其特征在于,该作业调度服务器根据作业的执行时间和备份节点的状态选择执行的备份节点;其中所述作业为所述扫描作业或所述拷贝作业。

6.如权利要求1或2或3所述的方法,其特征在于,所述磁盘阵列以分布式文件系统方式挂载,并提供一个统一名称。

7.如权利要求1或2或3所述的方法,其特征在于,将分布在多个磁盘阵列上的磁盘以分布式文件系统方式虚拟成为一个逻辑存储空间,将该逻辑存储空间以一个共享目录挂载到每个备份节点上;备份集群中的每一备份节点通过访问该共享目录的方式使用底层的磁盘阵列。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院高能物理研究所,未经中国科学院高能物理研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201710301054.5/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top