[发明专利]一种数据修改方法、装置、设备及可读存储介质在审
申请号: | 201810677153.8 | 申请日: | 2018-06-27 |
公开(公告)号: | CN108958964A | 公开(公告)日: | 2018-12-07 |
发明(设计)人: | 方兰春 | 申请(专利权)人: | 郑州云海信息技术有限公司 |
主分类号: | G06F11/10 | 分类号: | G06F11/10 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 罗满 |
地址: | 450018 河南省郑州市*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据修改 源数据 可读存储介质 数据修改操作 存储系统 目标文件 数据保存 读取 发送 数据修改装置 接收客户端 存储设备 技术效果 算法保存 算法修改 系统性能 资源占用 条带 封装 事务 存储 放大 | ||
本发明公开了一种数据修改方法,该方法包括:接收客户端发送的目标文件的修改请求,并确定修改请求对应的修改内容;按照纠删条带长度读取修改内容对应的源数据;生成利用纠删码算法保存源数据的数据保存操作,并按照修改请求,生成利用纠删码算法修改源数据的数据修改操作;将数据保存操作与数据修改操作封装为数据修改事务;将数据修改事务发送至存储了目标文件的K+M个存储设备中,以完成修改请求对应的修改操作。解决修改写放大的问题,可减少存储系统资源占用,进一步提升存储系统的系统性能。本发明还公开了一种数据修改装置、设备及可读存储介质,具有相应的技术效果。
技术领域
本发明涉及存储技术领域,特别是涉及一种数据修改方法、装置、设备及可读存储介质。
背景技术
纠删码(erasure coding,EC)是一种数据保护方法,它将一定长度(stripe_width)的数据分割成K份,用K份数据通过算法计算出M份冗余数据块;并将这K+M份数据存储在不同的位置,比如磁盘、存储节点或者其它地理位置。只需要K+M份中任意的K份数据就可以计算出原数据,以达到容错的目的。纠删码与副本相比在保障数据安全的情况下,可以提高磁盘有效利用率,所以纠删码技术在分布式存储系统中得到广泛应用。
在对数据进行修改时,由于K份数据块和M块效验块分布在不同位置的存储介质上,要求这K+M份数据要么都修改成功,要么都不成功;才能保证数据的一致性。当修改原有内容时,需要将原来的内容读取并先保存下来;再将修改操作应用到读取的内容上,最后将修改后的内容落盘。如果发生异常可以根据保存内容恢复成原来的数据。由于修改写操作转变成先读所有的源数据,将修改写操作应用到读取的源数据上再完全覆盖写到不同的存储介质上。由于不管修改内容的多少,都需要从K+M个设备上读取所有的源数据,将修改操作应用到源数据上再完全覆盖写下去;所以修改写存在写放大的问题,进一步成为影响整个集群性能的瓶颈点。
综上所述,如何有效地解决数据修改时存在的写放大等问题,是目前本领域技术人员急需解决的技术问题。
发明内容
本发明的目的是提供一种数据修改方法、装置、设备及可读存储介质,可解决在对数据进行修改时,存在的修改写放大问题。
为解决上述技术问题,本发明提供如下技术方案:
一种数据修改方法,包括:
接收客户端发送的目标文件的修改请求,并确定所述修改请求对应的修改内容;其中,所述目标文件为利用所述纠删码算法按照纠删条带长度将目标文件切片成K份数据块,计算出M份校验块,并存入K+M个存储设备中的文件;其中M小于等于K,M与K均为正整数;
按照所述纠删条带长度读取所述修改内容对应的源数据;
生成利用所述纠删码算法保存所述源数据的数据保存操作,并按照所述修改请求,生成利用所述纠删码算法修改所述源数据的数据修改操作;
将所述数据保存操作与所述数据修改操作封装为数据修改事务;
将所述数据修改事务发送至存储了所述目标文件的K+M个存储设备中,以完成所述修改请求对应的修改操作。
优选地,所述按照所述纠删条带长度读取所述修改内容对应的源数据,包括:
从K个存储设备上,读取所述修改内容所在纠删条带长度的源数据。
优选地,所述生成利用所述纠删码算法保存所述源数据的数据保存操作,包括:
生成利用所述纠删码算法按照所述纠删条带长度将所述源数据切片成K份数据块,计算出M份校验块,并存入K+M个存储设备中的数据保存操作。
优选地,所述按照所述修改请求,生成利用所述纠删码算法修改所述源数据的数据修改操作,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司,未经郑州云海信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810677153.8/2.html,转载请声明来源钻瓜专利网。