[发明专利]数据处理方法及装置、计算机可读存储介质在审
申请号: | 202010472738.3 | 申请日: | 2020-05-29 |
公开(公告)号: | CN113296685A | 公开(公告)日: | 2021-08-24 |
发明(设计)人: | 孙守取;吴波 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京安信方达知识产权代理有限公司 11262 | 代理人: | 陶丽;栗若木 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 计算机 可读 存储 介质 | ||
本申请公开了一种数据处理方法及装置、计算机可读存储介质,所述数据处理方法包括:为元数据创建元数据检测数据,元数据存储于第一内存,元数据检测数据存储于第二内存,且第一内存和第二内存的物理内存空间相互隔离;接收到客户端的元数据访问请求,基于元数据检测数据检测元数据是否正确;当元数据正确时,基于元数据对客户端的元数据访问请求进行处理。本申请保证了元数据访问时的数据正确性并且提高了元数据校验效率,避免了脏数据扩散或者用户读到错误的数据的情况发生。
技术领域
本申请涉及但不限于数据存储技术领域,尤其涉及一种数据处理方法及装置、计算机可读存储介质。
背景技术
在存储系统中,元数据是描述数据的数据,元数据的正确性关系到整个存储系统的数据安全。为了保证元数据的正确性,需要对元数据增加数据校验机制。
当前比较通用的做法是在每个元数据单元内增设元数据校验字段,用来保证整个元数据单元的数据正确性,但是如果每次进行元数据访问时都去进行校验字段的计算比较的话,对性能有一定的损耗,因此,当前的存储系统在访问元数据之前,一般不会进行元数据正确性校验,只是在元数据更新的时候计算出元数据校验值,并持久化到存储介质中,用来检查存储介质中的静默错误。但是,如果由于内存踩踏等原因,元数据内存本身已经脏了,那么根据脏的元数据访问的实际数据块就可能是错误的,这样可能会导致用户数据丢失或者读到错误数据。
发明内容
本申请提供了一种数据处理方法及装置、计算机可读存储介质,能够保证元数据访问时的数据正确性并且提高元数据校验效率。
本申请实施例提供了一种数据处理方法,包括:为元数据创建元数据检测数据,所述元数据存储于第一内存,所述元数据检测数据存储于第二内存,且第一内存和第二内存的物理内存空间相互隔离;接收到客户端的元数据访问请求,基于所述元数据检测数据检测所述元数据是否正确;当所述元数据正确时,基于所述元数据对所述客户端的元数据访问请求进行处理。
在一些可能的实现方式中,所述方法还包括:当所述元数据错误时,返回元数据错误至所述客户端。
在一些可能的实现方式中,所述方法还包括:接收到元数据更新请求,同步更新所述元数据和元数据检测数据。
在一些可能的实现方式中,所述第一内存为小页面内存,所述第二内存为大页内存。
在一些可能的实现方式中,所述方法还包括:为每个元数据分区创建一个大页内存池,所述元数据分区包括多个元数据,一个所述大页内存池用于存储一个元数据分区的多个元数据的元数据检测数据,所述大页内存池包括多页大页和多段虚拟内存空间,每页大页映射到一段虚拟内存空间,且一个所述大页内存池内的多段虚拟内存空间连续,不同所述大页内存池内的虚拟内存空间的基址不同。
在一些可能的实现方式中,所述方法还包括:为每个所述大页内存池创建一个内存池映射表,所述内存池映射表用于描述所述大页内存池内的每页大页与各段虚拟内存空间的映射关系。
在一些可能的实现方式中,所述元数据检测数据为元数据副本。
所述基于所述元数据检测数据检测所述元数据是否正确,包括:检测所述元数据和元数据副本是否一致;当所述元数据和元数据副本一致时,判断所述元数据正确;当所述元数据和元数据副本不一致时,判断所述元数据错误。
在一些可能的实现方式中,所述元数据检测数据为元数据校验值。
所述基于所述元数据检测数据检测所述元数据是否正确,包括:计算所述元数据的校验值,检测计算出的校验值与所述元数据校验值是否一致;当计算出的校验值与所述元数据校验值一致时,判断所述元数据正确;当计算出的校验值与所述元数据校验值不一致时,判断所述元数据错误。
本申请实施例还提供了一种数据处理装置,包括处理器和存储器,所述处理器用于执行存储器中存储的计算机程序以实现如以上任意一项所述的数据处理方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010472738.3/2.html,转载请声明来源钻瓜专利网。