[发明专利]一种基于纠删码的纠删池的创建方法及相关装置在审
申请号: | 201710909902.0 | 申请日: | 2017-09-29 |
公开(公告)号: | CN107589916A | 公开(公告)日: | 2018-01-16 |
发明(设计)人: | 赵赞 | 申请(专利权)人: | 郑州云海信息技术有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F11/07 |
代理公司: | 北京集佳知识产权代理有限公司11227 | 代理人: | 罗满 |
地址: | 450018 河南省郑州市*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 纠删码 纠删池 创建 方法 相关 装置 | ||
技术领域
本申请涉及计算机技术领域,特别涉及一种基于纠删码的纠删池的创建方法、创建装置、计算机可读存储介质及服务器。
背景技术
随着计算机技术的发展,服务器存储的数据越来越多,单个服务器就没有办法满足存储数据的要求,因此发展出分布式存储系统。其中,CEPH是目前一种应用较为广泛的分布式存储系统。
面对大量的数据存储就不得不考虑数据存储的可靠性,常用的纠删码技术对数据做一定的冗余来增加系统的可靠性,将存储的数据切分为K个数据块,通过编码算法计算出M个校验块,利用K+M个数据块中的任意K个数据块就能恢复原始的数据。通过该纠删码的纠删规则设定,就可控制存储空间大小,有利于提高存储的利用率。例如,纠删规则中数据块与校验块的比例为4比2时,存储系统可用的容量就为总容量的三分之二,在不超过两个节点故障的情况下保证数据的安全。
但是,在计算数据块的过程中除了纠删码还有条带大小决定数据块的数量,当不同类型不同文件大小的数据根据相同的条带大小进行计算时,为了使数据的长度到条带的长度满足一个数据块,会使用零数据补齐,因此会导致其空间利用率不相同,当文件大小和条带大小相差很大时,会使空间利用率下降很多,因此,可以修改纠删池的条带大小,但是修改后条带大小需要重启系统才可以能使修改生效,十分不方便。
并且现有的处理逻辑是使用固定的条带大小来创建纠删池,无法针对不同的数据设置不同的条带大小,也就无法适应不同类型的文件存储,造成空间利用率的下降。空间利用率的下降会带来多余数据的读写操作,造成系统整体的读写性能下降。并且影响纠删算法的运行速度,提高了CPU的消耗。同时对于不同类型的文件使用固定的条带大小,会影响存储性能降低系统的IOPS(每秒进行读写操作的次数)。
因此,如何方便的设置纠删条带大小并创建纠删池是本领域技术人员所关注的重点问题。
发明内容
本申请的目的是提供一种基于纠删码的纠删池的创建方法、创建装置、计算机可读存储介质及服务器,通过获取配置的条带单元大小数据将条带单元大小数据和数据块数据进行相乘得到数据条带大小数据,并设置条带大小,既保证了原有的功能使用,方便了创建过程,可以更好的应对不同的应用场景和不同的纠删值设置合适的条带大小的纠删池。
为解决上述技术问题,本申请提供一种基于纠删码的纠删池的创建方法,包括:
将创建纠删池的处理流程中的纠删条带大小配置信息更改为纠删条带单元配置信息;
获取创建指令,并解析所述创建指令得到纠删条带单元数据;其中,所述纠删条带单元数据根据存储文件进行设定;
获取纠删码,将所述纠删码中的数据块值与所述纠删条带单元数据相乘得到条带大小数据;
根据所述条带大小数据创建所述纠删池。
可选的,还包括:
当所述创建指令没有所述纠删条带单元数据时,所述纠删条带单元数据为默认值。
可选的,还包括:
判断所述纠删条带单元数据是否在预设范围内;
若否,则中断创建所述纠删池,发送错误信息。
可选的,还包括:
判断所述纠删条带单元数据是否符合预设参数格式;
若否,则中断创建所述纠删池,发送所述错误信息。
可选的,所述将创建纠删池的处理流程中的纠删条带大小配置信息更改为纠删条带单元配置信息,包括:
将创建所述纠删池的处理逻辑中的纠删条带大小修改为纠删条带单元;
将存储系统中的纠删条带大小配置项更改为纠删条带单元配置项;
在所述创建指令中增加所述纠删条带单元的参数。
本申请还提供一种基于纠删码的纠删池的创建装置,其特征在于,包括:
配置信息设置模块,用于将创建纠删池的处理流程中的纠删条带大小配置信息更改为纠删条带单元配置信息;
条带单元数据获取模块,用于获取创建指令,并解析所述创建指令得到纠删条带单元数据;其中,所述纠删条带单元数据根据存储文件进行设定;
条带大小数据获取模块,用于获取纠删码,将所述纠删码中的数据块值与所述条带单元大小数据相乘得到条带大小数据;
纠删池创建模块,用于根据所述条带大小数据创建所述纠删池。
可选的,还包括:
默认数据设置模块,用于当所述创建指令没有所述纠删条带单元数据时,所述纠删条带单元数据为默认值。
可选的,所述配置信息设置模块,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司,未经郑州云海信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710909902.0/2.html,转载请声明来源钻瓜专利网。