[发明专利]一种海量数据备份处理方法及系统在审
申请号: | 202011129951.0 | 申请日: | 2020-10-21 |
公开(公告)号: | CN112214355A | 公开(公告)日: | 2021-01-12 |
发明(设计)人: | 韩抒豪;杜晋瑞;姚国军;陈勇铨;江俊;胡军擎 | 申请(专利权)人: | 上海英方软件股份有限公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14 |
代理公司: | 上海国智知识产权代理事务所(普通合伙) 31274 | 代理人: | 潘建玲 |
地址: | 200011 上海市黄*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 海量 数据 备份 处理 方法 系统 | ||
本发明公开了一种海量数据备份处理方法及系统,所述方法包括如下步骤:步骤S1,于备份过程中,当源端向备端每备份预设数据量的数据,于源端数据相应位置增加备份标记,于备端接收并存储源端所传送的预设数据量的备份数据后,于备端数据相应位置增加相应的备份标记;步骤S2,当数据备份过程中出现备份中断时,删除备端最后一个备份标记后的数据;步骤S3,当中断恢复后,以相邻备份标记之间的数据为一个分片,对比源端与备端相应的分片数据是否相同,以根据对比结果更新相应分片的数据备份;步骤S4,获取源端的最后一个备份标记,于该备份标记的数据位置处恢复继续备份。
技术领域
本发明涉及数据备份技术领域,特别是涉及一种对海量数据备份过程中意外中断的衔接处理的海量数据备份处理方法及系统。
背景技术
数据备份是容灾的基础,其是为了防止系统出现操作失误或系统故障导致数据丢失,而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。传统的数据备份主要是采用内置或外置的磁带机进行冷备份。但是这种方式只能防止操作失误等人为故障,而且其恢复时间也很长。随着技术的不断发展,数据的海量增加,不少的企业开始采用网络备份。
但是,无论是哪种备份,在备份过程中,都难免会出现一些情况导致备份意外中断,比如断电、断网等。如果已经备份的数据量不太大的情况下,可以重新做一次备份。但是如果在已经备份了大量数据的情况下意外中断,重新备份将会给企业或个人带来很多时间上的损失。
发明内容
为克服上述现有技术存在的不足,本发明之目的在于提供一种海量数据备份处理方法及系统,以解决海量数据备份过程中意外中断的衔接备份问题。
为达上述目的,本发明提出一种海量数据备份处理方法,包括如下步骤:
步骤S1,于备份过程中,当源端向备端每备份预设数据量的数据,于源端数据相应位置增加备份标记,于备端接收并存储源端所传送的预设数据量的备份数据后,于备端数据相应位置增加相应的备份标记;
步骤S2,当数据备份过程中出现备份中断时,删除备端最后一个备份标记后的数据;
步骤S3,当中断恢复后,以相邻备份标记之间的数据为一个分片,对比源端与备端相应的分片数据是否相同,以根据对比结果更新相应分片的数据备份步骤S4,获取源端的最后一个备份标记,于该备份标记的数据位置处恢复继续备份。
优选地,于步骤S1之前,还包括如下步骤:
步骤S0,设置一个常量作为所述预设数据量,以便源端根据所述预设数据量备份数据,以及设置变量offset作为所述备份标记。
优选地,所述变量offset为递增变量,在备份之前,所述变量offset设为0,每备份1个常量n大小的数据,于源端数据相应位置增加一个offset标记,所述变量offset每次递增1。
优选地,当备份进行到最后一段数据之后,于源端数据的末尾处标记offset标记为-1。
优选地,于步骤S3中,当比对源端与备端某段相应的分片数据不同时,则重新备份相应端的分片数据。
优选地,于步骤S4后,还包括如下步骤:
当备份完成后,删除源端与备端的备份标记。
为达到上述目的,本发明还提供一种海量数据备份处理系统,包括:
备份处理模块,用于在备份过程中,当源端向备端每备份预设数据量的数据,于源端数据相应位置增加备份标记,于备端接收并存储源端所传送的预设数据量的备份数据时,于备端数据相应位置增加相应的备份标记;
中断处理模块,用于当数据备份过程中出现备份中断时,删除备端最后一个备份标记后的数据;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海英方软件股份有限公司,未经上海英方软件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011129951.0/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置