[发明专利]一种数据写入的方法和装置有效
申请号: | 201810706826.8 | 申请日: | 2018-07-02 |
公开(公告)号: | CN110737716B | 公开(公告)日: | 2022-09-23 |
发明(设计)人: | 戴冠群 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F11/14 |
代理公司: | 北京龙双利达知识产权代理有限公司 11329 | 代理人: | 张欣;王君 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 写入 方法 装置 | ||
本申请提供了一种数据写入的方法和装置。该方法包括:主节点将日志的N个子日志存储到本地,所述日志是根据一个原子写请求生成的,所述一个原子写请求包括N个子写,所述子日志中记录子写的信息,N为大于0的正整数;所述主节点将所述N个子日志备份到备节点中;所述主节点在确定所述N个子日志全部存储到所述备节点的情况下,将所述日志标记为有效。本申请提供的技术方案可以在数据备份的过程中通过日志机制保证一组写请求的原子性,避免了现有技术中通过文件系统语义锁来实现原子性,从而可以降低流程复杂性以及系统开销。
技术领域
本申请涉及存储领域,并且更具体地,涉及一种数据写入的方法和装置。
背景技术
存储系统中,为了防止操作系统出现硬件或存储媒体出现故障而导致的数据丢失,可以将本地存储的数据备份到备用节点中。文件系统是操作系统中管理和存储文件信息的软件机构,主要负责为用户建立文件,存入、读出、转储文件,控制文件的存取等。文件系统在提供数据备份的存储服务过程中,主要通过原子操作(即需要保证一组写请求全部成功或全部失败)来防止掉电或系统崩溃造成的数据不一致或损坏。例如,网络附属存储(network attached storage,NAS)可以是一种为存储设备提供高效稳定的文件系统。
现有技术在数据备份的过程中,为了保证文件系统中多个节点之间的原子操作,需要在文件系统中增加语义锁,在数据备份过程中,通过语义锁保证一组写请求的原子操作。但是,通过增加语义锁来保证写请求的原子操作会使得系统流程复杂,同时需要在一组写请求全部写入并备份成功之后,需要打开语义锁,从而增加了系统开销。
因此,如何在数据备份过程中,保证写请求的原子操作的同时可以降低流程复杂性以及系统开销。
发明内容
本申请提供一种数据写入的方法和装置,可以在数据备份的过程中通过日志机制保证一组写请求的原子性,避免了现有技术中通过文件系统语义锁来实现原子性,从而可以降低流程复杂性以及系统开销。
第一方面,提供了一种数据写入的方法,该方法包括:主节点将日志的N个子日志存储到本地;所述主节点将所述N个子日志备份到备节点中;所述主节点在确定N个子日志全部存储到所述备节点的情况下,将所述日志标记为有效。
本申请实施例中,一组写请求可以包括N个子写,N为大于0的正整数。为了保证该一组写请求全部成功或全部失败(也就是说,该一组写请求为不可被中断的一个或一个系列操作),该组写请求可以被称为一个原子写,该组写请求也可以称为具有原子性。
应理解,一个原子写中的一连串子写可以生成一条日志(log),一个原子写中的N个子写可以生成N条子日志(sublog)。其中,子日志可以记录子写的信息(也就是说,一个子写可以对应一条子日志),记录的信息可以包括但不限于:存放的地址(起始地址),写入的数据、写入数据的长度等。
本申请实施例中,在数据备份的过程中通过日志机制保证一组写请求的原子性,避免了现有技术中通过文件系统语义锁来实现原子性,从而可以降低流程复杂性以及系统开销。
结合第一方面,在第一方面的某些实现方式中,所述方法还包括:在所述备节点中的所述N个子日志存储失败的情况下,所述主节点将存储的所述N个子日志删除。
可选地,在一些实施例中,如果对端由于资源或各种原因,使得对端的操作执行失败。本申请实施例可以采用回滚机制,可以将本端存储的log回滚掉,可以保障整个系统数据的原子性(一组写请求或者全部成功或者全部失败)。
本申请实施例中,通过回滚机制保障节点间写请求的原子性,避免了现有技术中依赖重试来保障节点间写请求的原子性,提高了系统的可服务性。
结合第一方面,在第一方面的某些实现方式中,所述N个子日志携带相同的日志标识号ID,所述主节点根据所述ID将所述N个子日志有序存储到所述主节点的日志存储容器中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810706826.8/2.html,转载请声明来源钻瓜专利网。
- 上一篇:数据的可视化显示方法、装置、设备及介质
- 下一篇:一种数据库迁移方法及装置
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置