[发明专利]一种用于海量数据备份的并行作业备份方法有效
申请号: | 201710301054.5 | 申请日: | 2017-05-02 |
公开(公告)号: | CN108804253B | 公开(公告)日: | 2021-08-06 |
发明(设计)人: | 姚秋玲;陈德清 | 申请(专利权)人: | 中国科学院高能物理研究所 |
主分类号: | G06F11/14 | 分类号: | G06F11/14 |
代理公司: | 北京君尚知识产权代理有限公司 11200 | 代理人: | 司立彬 |
地址: | 100049 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 用于 海量 数据 备份 并行 作业 方法 | ||
1.一种用于海量数据备份的并行作业备份方法,其步骤为:
1)选取多台计算机作为备份节点组成一备份集群,各所述备份节点具有统一的配置;各磁盘阵列以逻辑卷方式与各备份节点连接,在逻辑卷上构建一备份数据库;
2)需要备份的终端选取一备份节点作为备份管理服务器,并在该备份管理服务器上启动待备份对象的备份策略;其中,所述备份对象以目录形式定义,即每一备份对象对应一目录;
3)该备份管理服务器根据该备份策略选取一备份节点作为作业调度服务器,并检查该备份数据库中是否存在该备份对象的目录信息表和文件信息表,如果没有,则建立该备份对象的目录信息表和文件信息表;然后逐层获取该备份对象对应的目录结构,每获取一目录,在该目录信息表中插入一条目录信息,并生成一扫描作业;所述扫描作业包括扫描程序名和目标目录名;
4)该备份管理服务器将各扫描作业及对应的作业路径提交给该作业调度服务器;该作业调度服务器选取若干备份节点作为执行节点,并将每一扫描作业及其对应的作业路径发送给一执行节点;各执行节点对收到的扫描作业中的目标目录进行扫描,记录该目标目录下的所有文件信息,并在该文件信息表为扫描到的每个文件插入一条文件信息;
5)该备份管理服务器根据该备份策略、目录信息表和文件信息表选取待备份文件生成一文件列表,并根据切分阈值对该文件列表进行切分,得到若干子表;
6)该备份管理服务器根据每一子表生成一拷贝作业,并将各拷贝作业发送给该作业调度服务器;所述拷贝作业包括拷贝程序名、带路径的文件名和带路径的备份文件名;
7)该作业调度服务器将不同拷贝作业发送给不同的备份节点,备份节点根据收到的拷贝作业将对应的待备份文件拷贝到该逻辑卷中对应位置。
2.如权利要求1所述的方法,其特征在于,所述备份策略中的信息包括备份对象的读取权限,备份形式,备份文件存储到哪个目录或介质中,作为作业调度服务器的备份节点,切分阈值,备份结束后需要记录和提交的日志和信息。
3.如权利要求2所述的方法,其特征在于,当该备份集群收到一终端发出的恢复该备份对象请求时,该备份集群首先审核该终端是否为该备份策略中授权的终端;如果是授权的终端,则提示该终端输入需要恢复的目录名或文件名、恢复数据的时间点和恢复目的地路径;然后根据这些输入信息查找需要恢复文件所在的备份文件,并将该备份文件拷贝到指定路径中。
4.如权利要求1或2或3所述的方法,其特征在于,所述扫描作业、所述拷贝作业均有设定的时间阈值,如果执行时间超过该时间阈值则返回失败信息给作业调度服务器;作业调度服务器为失败的所述扫描作业或所述拷贝作业选取备份节点重新执行;如果同一所述扫描作业或所述拷贝作业的执行次数超过设置阈值,则停止执行相应的作业并生成error信息写入备份日志中。
5.如权利要求1或2或3所述的方法,其特征在于,该作业调度服务器根据作业的执行时间和备份节点的状态选择执行的备份节点;其中所述作业为所述扫描作业或所述拷贝作业。
6.如权利要求1或2或3所述的方法,其特征在于,所述磁盘阵列以分布式文件系统方式挂载,并提供一个统一名称。
7.如权利要求1或2或3所述的方法,其特征在于,将分布在多个磁盘阵列上的磁盘以分布式文件系统方式虚拟成为一个逻辑存储空间,将该逻辑存储空间以一个共享目录挂载到每个备份节点上;备份集群中的每一备份节点通过访问该共享目录的方式使用底层的磁盘阵列。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院高能物理研究所,未经中国科学院高能物理研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710301054.5/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置