[发明专利]数据备份的方法和装置有效
申请号: | 201810864266.9 | 申请日: | 2018-08-01 |
公开(公告)号: | CN109254870B | 公开(公告)日: | 2021-05-18 |
发明(设计)人: | 章鹏 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14 |
代理公司: | 北京龙双利达知识产权代理有限公司 11329 | 代理人: | 张欣;王君 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 备份 方法 装置 | ||
一种数据备份的方法和装置。该方法包括:主站点获取第一预写日志WAL,该第一WAL包含第一标识,该第一标识用于标识该主站点接收到的至少一个目标写请求;该主站点从存储的元数据中查找包含该第一标识的目标元数据,该目标元数据用于描述该至少一个目标写请求请求写入的写数据;该主站点将该目标元数据和该写数据备份至备站点。在本申请实施例中,通过第一WAL包含的第一标识,将至少一个目标写请求请求写入的写数据以及目标数据从主站点备份至备站点,相对于传统的维护数据一致性过程中使用的WAL而言,第一WAL中无需再记录写请求写入的写数据以及元数据,有利于减少第一WAL中记录的内容,以减少存储第一WAL的存储空间。
技术领域
本申请涉及存储领域,并且更具体地,涉及数据备份的方法和装置。
背景技术
数据容灾技术旨在建立一个异地的数据备份存储系统,当主站点宕机之后,存储系统的备站点上保存有备份数据,以降低数据丢失带来的损失。目前,主站点和备站点之间主要通过预写日志(write-ahead logging,WAL)进行数据备份,并维护主备站点之间数据的一致性。
在传统的数据备份过程中,主站点基于WAL中记录的操作请求(包括写请求或删除请求)的事务,向备站点中写数据或删除备站点中的数据,维护备站点中记录数据与主站点中记录的数据相同。例如,WAL中记录第一写请求对应的事务时,主站点可以向备站点发送第二写请求,用于将第一写请求请求写入的数据写至备站点中。又例如,WAL中记录第一删除请求对应的事务时,主站点可以向备站点发送第二删除请求,用于将第一删除请求请求删除的数据从备站点中删除。
然而,在上述数据备份的过程中,为了使得主站点通过读取WAL能够获知WAL记录的操作请求请求对数据执行的操作,需要在WAL中记录操作请求对应的事务,包括操作请求请求操作的数据的信息,使得WAL中记录的内容较多,导致存储WAL占用的存储空间较大。
发明内容
本申请提供一种数据备份的方法和装置,有利于减少存储WAL占用的存储空间。
第一方面,提供了一种数据备份的方法,包括:主站点从所述主站点的存储空间中获取第一预写日志WAL,所述第一WAL包含第一标识,所述第一标识用于标识所述主站点接收到的至少一个目标写请求,每个目标写请求对应一个目标元数据;所述主站点使用所述第一标识,从所述主站点的硬盘存储的元数据中查找与所述第一标识对应的至少一个目标元数据;所述主站点根据所述至少一个目标元数据,从所述主站点的硬盘中查找所述至少一个目标元数据描述的至少一个写数据,每个目标元数据用于描述一个写数据;所述主站点将所述至少一个目标元数据和所述至少一个写数据发送给备站点进行备份。
上述第一WAL是用于在主备站点之间进行数据备份的WAL,或者可以理解为用于维护主备站点之间数据一致性的日志,即主站点通过读取WAL可以明确向备站点中备份的数据以及元数据。
在本申请实施例中,通过第一WAL包含的第一标识,将至少一个目标写请求请求写入的写数据以及目标数据从主站点备份至备站点,相对于传统的数据备份过程中使用的WAL而言,第一WAL中无需再记录写请求写入的写数据以及元数据,有利于减少第一WAL中记录的内容,以减少存储第一WAL占用的存储空间。
另一方面,传统的WAL机制中,主站点每收到一个写请求,就会生成一个WAL记录这个写请求的事务,导致主站点存储的WAL的数量会非常多,占用较多的存储空间,而本申请实施例中,若上述至少一个目标写请求为多个写请求时,第一WAL通过第一标识可以多个目标写请求请求写入的写数据,即,多个写请求可以复用一个WAL,有利于减少WAL的数量,从而减少存储WAL占用的存储空间。
同时,若数据备份成功后,主站点需要删除执行成功的WAL,而每删除一条WAL都会带来一次IO开销。在本申请实施例中,通过多个目标写请求可以复用一个WAL,有利于减少WAL的数量,进一步地,有利于减少在数据备份成功后,删除WAL带来的IO开销。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810864266.9/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置