[发明专利]数据处理方法及装置有效

专利信息
申请号: 202011527617.0 申请日: 2020-12-22
公开(公告)号: CN112597074B 公开(公告)日: 2022-08-30
发明(设计)人: 何孝金 申请(专利权)人: 新华三大数据技术有限公司
主分类号: G06F12/0866 分类号: G06F12/0866
代理公司: 暂无信息 代理人: 暂无信息
地址: 450000 河南省郑州市郑州高*** 国省代码: 河南;41
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 数据处理 方法 装置
【说明书】:

本申请提供一种数据处理方法及装置,所述方法应用于存储系统,所述方法包括:接收主机发送的第一操作指令,所述第一操作指令包括用户对象的第一逻辑区块地址LBA以及第一快照序列号;根据所述第一LBA以及第一快照序列号,查找元数据缓存,所述元数据缓存包括至少一个元数据值,每个元数据值包括实际写入的ROW对象的第二LBA、第一标识以及第二标识;当从所述元数据缓存中获取到与所述第一LBA以及第一快照序列号对应的第一元数据值时,根据所述第一操作指令的类型,识别所述第一标识的值或者所述第二标识的值;根据识别结果,对所述第二LBA中存储的数据进行对应处理。

技术领域

本申请涉及通信技术领域,尤其涉及一种数据处理方法及装置。

背景技术

目前,高性能存储介质固态驱动器(英文:Solid State Drive,简称:SSD)已大规模商用。在分布式存储领域,基于全SSD的分布式存储系统也陆续被厂商推出。在分布式全闪存系统中,采用写时重定向(英文:Redirect-on-write,简称:ROW)的方式写入数据将更好发挥SSD的性能优势,同时,ROW对重删、压缩、快照等特性也可提供更好的支持。

ROW快照即无损快照,与传统的写时拷贝(英文:Copy-On-Write,简称:COW)快照相比,其对主机业务影响极小。当前的ROW快照均是通过快照序列号实现。即每执行一次快照,则递增快照的序列号。主机向存储系统写入数据时,携带最新的快照序列号,写入数据之后,将快照的序列号一并记录至元数据中。

但是,ROW快照也会带来一些问题,即元数据的存储量较太,且每次读数据时,均要先查询元数据,也导致读时延增大。为了解决前述问题,多数厂商都为元数据设置了缓存,而缓存的命中率则直接影响主机的读性能。

当前,元数据的缓存方式主要通过键-值(KEY-VALUE)数据库实现。KEY由用户对象、用户对象的逻辑区块地址(英文:Logical Block Address,简称:LBA)以及快照序列号组成,VALUE则是实际写入的ROW对象和实际写入的ROW对象的LBA。主机读取数据时,通过用户对象和用户对象的LBA查找到对应的元数据,并从元数据中获取实际写入的ROW对象和实际写入的ROW对象的LBA,再下盘读才能读到相应的数据。

在没有ROW快照的场景下,上述元数据的缓存方式可解决前述问题,但,当存在ROW快照的多个序列号之后,上述元数据的缓存方案也会带来一些问题。在存在ROW快照的场景下,主机读数据时,需要读取小于等于输入的快照序列号且为当前最大有效的快照序列号对应的元数据。

如图1所示,图1为对源数据卷执行ROW快照示意图。图1中,在对源数据集执行ROW快照期间夹杂了主机写入数据(图中具有网格的区域为主机下发写请求的区域)的过程。假设用户对1个用户对象执行ROW快照并执行写操作,经过多次操作之后,当前的快照序列号为4,也即是,存储系统为该用户对象执行了4次ROW快照。

若用户现在需读取该用户对象LBA1中存储的最新数据,则主机下发关于LAB1的读请求,该读请求携带的快照序列号为4。但,如图1所示,实际写入的ROW对象的LAB1仅在快照序列号为1的时候写入了数据,即使写入缓存也存储的是快照序列号1的元数据,序列号为4的元数据无法在缓存中查询到,并且也不能在缓存中确定快照序列号为1的元数据就是快照序列号为4的元数据。因此,需要从磁盘中读取元数据的存储引擎方可读取该对象LBA1中存储的最新元数据。

在实际应用中,ROW快照多用作数据备份,并且主机读取数据时,多是读取原对象,但读请求携带的均是最新的快照序列号。因此,以现有的缓存方案,缓存命中率非常低。

发明内容

有鉴于此,本申请提供了一种数据处理方法及装置,用以解决现有的缓存方案中,缓存命中率非常低的问题。

第一方面,本申请提供了一种数据处理方法,所述方法应用于存储系统,所述方法包括:

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司,未经新华三大数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202011527617.0/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top