[发明专利]一种基于运算时间统计的纠删参数提取方法

说明书

技术领域

本发明涉及数据存储技术领域,具体地说是一种基于运算时间统计的纠删参数提取方法。

背景技术

随着互联网的高速发展，数据也随之爆发式增长。如何存储这些数据和如何保证数据安全成为了各个互联网公司的遇到的一大难题。在这种背景下ceph(分布式存储系统)应运而生，由于ceph具有高可靠性、可伸缩、分布式、管理简单、开源等特点，迅速成为了各家互联网公司争相使用的大数据存储系统。在ceph存储系统中数据的安全性是通过数据冗余实现。

目前实现数据冗余有副本方式和纠删方式两种方式，副本方式即一份数据保存多(n个)副本，当一个副本出现问题时可以通过读取其他副本将其恢复；纠删方式将数据分割成一定数量(k个)的数据块，使用纠删算法为这些数据块计算出一定数量(m个)的校验块，当一个或多个(小于等于m)数据块出现问题时可以读取其他数据块并通过纠删算法将其恢复。由此可见副本方式的数据冗余度是n/1,纠删方式的数据冗余度是(k+m)/k，由于通常m远小于k。因此不难看出纠删方式明显比副本方式节省空间。随着数据量增大，这一优势越来越明显，越来越多的用户选择纠删方式作为数据存储方式。

在工程应用中测试发现，利用纠删方式在不同硬件环境下不同的k和m以及条带尺寸的设置会导致数据读写的效率有明显的差别。若随意选用k、m或条带尺寸的值不能充分发挥ceph集群部署的性能，且错误的ceph部署会带来风险。

发明内容

为克服上述现有技术存在的不足，本发明的目的在于提供一种基于运算时间统计的纠删参数提取方法，能够快速准确的找到一定硬件环境下k和m以及条带尺寸的最优值，提高ceph集群部署的性能。

本发明解决其技术问题所采用的技术方案是：一种基于运算时间统计的纠删参数提取方法，其特征是：对不同纠删参数组合分别进行纠删运算，比较纠删运算所用的时间，获得最优纠删参数组合。

进一步地，具体步骤为，

S1，获取用户设置的纠删算法类型；

S2，加载对应的纠删算法库；

S3，生成测试数据；

S4,取得一组纠删参数组合；

S5，根据取得的纠删参数组合对步骤S3生成的测试数据进行纠删运算；

S6，重复步骤S5的纠删运算N次，并计算N次运算所用时间的平均值；

S7，调整纠删参数组合并重复步骤S5和步骤S6，在参数调整结束后转到步骤S8；

S8，输出不同纠删参数组合下的统计结果并给出最优组合建议。

进一步地，步骤S2加载对应的纠删算法库的步骤为，

S21，读取纠删类型的配置文件，获取对应纠删算法库的位置；

S22，使用算法主函数名声明函数指针；

S23，使用函数指针调用算法。

进一步地，步骤S3生成测试数据的大小为1GB。

进一步地，纠删参数包括数据块值k，纠删块值m和纠删条带尺寸；数据块k的取值为1～32的整数，纠删块值m的取值为1～k的整数，纠删条带尺寸的取值为1k～64k的整数值。

进一步地，步骤S6中N的取值为100。

进一步地，步骤S7调整纠删参数组合的步骤为，

S71，数据块k的初始取值为1；

S72，判断数据块k的取值是否小于等于32，如果小于等于32则转到步骤S73，否则结束参数的调整；

S73，设置校验块m的值为1；

S74，判断校验块m的取值是否小于等于k，如果小于等于k则转到步骤S75，否则使数据块k的取值加1，转到步骤S72；

S75，设置条带尺寸初始值为1k；

S76，判断条带尺寸是否小于等于64K，如果条带尺寸小于等于64K则转到步骤S77，否则使校验块m的取值加1，转到步骤S74；

S77，调用纠删算法，对测试数据进行纠删运算；

S78，使条带尺寸加1k，转到步骤S76。

进一步地，步骤S8输出的统计结果为不同纠删参数组合进行纠删运算所用时间的平均值。

本发明的有益效果是：

数据块值k，纠删块值m，纠删条带尺寸这三个参数在ceph集群开始存储数据后将无法再修改，本发明采用的参数提取方式在系统部署之前使用户获得参数最优值，指导工作人员部署出最优的集群，使计算资源得到充分利用，降低了错误部署的风险；

本发明的进行参数提取时自动调整k、m以及纠删条带尺寸的值，全程无人员干预，准确可靠；