[发明专利]一种数据处理方法、设备及计算机可读存储介质有效
申请号: | 202110322457.4 | 申请日: | 2021-03-25 |
公开(公告)号: | CN113031869B | 公开(公告)日: | 2023-02-03 |
发明(设计)人: | 宋文革;刘昌鑫;孙梓州;张立群;丁宇光 | 申请(专利权)人: | 联想凌拓科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F11/10 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 周艳;张颖玲 |
地址: | 300000 天津市滨海新区天津自贸试验区(空港经济区)空港国际物*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 设备 计算机 可读 存储 介质 | ||
本申请实施例公开了一种数据处理方法,该方法包括:获取数据写入信息;其中,数据写入信息中包括待写入数据和待写入数据对应的位置信息;位置信息表征待写入数据的写入位置;基于位置信息和待写入数据的大小,从多个数据磁盘中确定目标数据磁盘;通过目标数据磁盘将待写入数据写入目标数据磁盘。本申请实施例同时还公开了一种第二电子设备及计算机可读存储介质。
技术领域
本发明涉及计算机领域的数据处理技术,尤其涉及一种数据处理方法、设备及计算机可读存储介质。
背景技术
基于分布式存储系统的高可扩展性的软件定义存储架构,目前,已经在分布式存储系统中使用纠删码技术,以实现系统的可用性的情况下,节省存储空间,从而大大的降低成本。但是,目前在分布式存储系统中使用纠删码技术进行数据写入的时候,将数据交由主数据磁盘去处理,主数据磁盘对数据处理后,才能由对应数据磁盘对处理后的数据进行写入;相关技术中的这种处理过程,大大增加了主数据磁盘的负荷量,进而导致数据写入效率较低。
发明内容
为解决上述技术问题,本申请实施例期望提供一种数据处理方法、设备及计算机可读存储介质,解决了相关技术中主数据磁盘的压力大,数据写入效率低的问题。
为达到上述目的,本申请的技术方案是这样实现的:
一种数据处理方法,所述方法包括:
获取数据写入信息;其中,所述数据写入信息中包括待写入数据和所述待写入数据对应的位置信息;所述位置信息表征所述待写入数据的写入位置;
基于所述位置信息和所述待写入数据的大小,从多个数据磁盘中确定目标数据磁盘;
通过所述目标数据磁盘将所述待写入数据写入所述目标数据磁盘。
上述方案中,所述通过所述目标数据磁盘将所述待写入数据写入所述目标数据磁盘,包括:
在所述多个数据磁盘中不具有第一数据的情况下,通过所述目标数据磁盘将所述待写入数据写入所述目标数据磁盘;
通过所述目标校验磁盘对所述待写入数据进行处理,确定所述待写入数据对应的第一校验值;
通过所述目标校验磁盘将所述第一校验值写入所述目标校验磁盘。
上述方案中,所述通过所述目标数据磁盘将所述待写入数据写入所述目标数据磁盘,包括:
在所述多个数据磁盘中具有第一数据的情况下,通过所述目标数据磁盘确定所述目标数据磁盘中是否具有第二数据;
在所述目标数据磁盘中不具有所述第二数据的情况下,通过所述目标数据磁盘将所述待写入数据写入所述目标数据磁盘;
通过所述目标校验磁盘基于所述待写入数据更新所述目标校验磁盘中的校验值;其中,所述目标校验磁盘中的校验值是所述第一数据对应的校验值。
上述方案中,所述方法还包括:
在所述目标数据磁盘中具有所述第二数据的情况下,通过所述目标数据磁盘将所述待写入数据写入所述目标数据磁盘,并基于所述待写入数据和所述第二数据确定增量数据;
通过所述目标校验磁盘,基于所述增量数据更新所述目标校验磁盘中的校验值。
上述方案中,所述通过所述目标校验磁盘基于所述待写入数据更新所述目标校验磁盘中的校验值,包括:
通过所述目标校验磁盘,基于所述待写入数据和所述目标校验磁盘中的第二校验值,更新所述第二校验值。
上述方案中,所述通过所述目标校验磁盘,基于所述待写入数据和所述目标校验磁盘中的第二校验值,更新所述第二校验值,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于联想凌拓科技有限公司,未经联想凌拓科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110322457.4/2.html,转载请声明来源钻瓜专利网。