[发明专利]基于遗传算法的数据重构自动调参方法、系统及存储介质

说明书

本发明涉及一种基于遗传算法的数据重构自动调参方法、系统及存储介质，包括以下步骤：S 1：引入遗传算法，在数据恢复控制算法中，累加恢复对象的大小，以及记录恢复对象的总数和恢复的小对象的数目；S2：判断数据恢复场景的类型，根据步骤S 1中得到的恢复的不同方式下，恢复个数占总的恢复对象个数的比例，确定选择最佳参数处理方式；S3：针对步骤S2确定不同的恢复场景，选用算法权衡权重，匹配不同的参数，从而进行优化不同场景下的恢复参数；S4：在遗传算法训练器中最后清空步骤S 1中计数，以便进行下一周期对恢复场景优化恢复参数；S5：遗传算法下NVME硬盘的处理步骤；S6：根据集群规模调整重构速度步骤。

技术领域

本发明属于数据恢复领域，具体涉及一种基于遗传算法的数据重构自动调参方法、系统及存储介质。

背景技术

存储系统最为关键的是存储数据，分布式存储最主要的特点是大规模集群可能就是成千上万块磁盘组成的大容量存储池，存储池的数据量可达到PB甚至EB的级别，而对故障或者扩容，缩容后的重构数据恢复是一项很重要的流程。故障磁盘承载的数据重新被分配到新磁盘中，故障磁盘中的数据在其他正常磁盘中被恢复出来的过程被称为重构数据。现有技术中，采用gluster默认集群重构方案，缺少对特殊场景进行优化处理，如海量小文件场景、对普通硬盘和NVME硬盘不同硬件配置进行优化。此为现有技术中存在的技术问题。

有鉴于此，本发明给出一种基于遗产算法的数据重构自动调参方法、系统及存储介质的技术方案；针对分布式gluster存储复杂场景快速重构恢复的改进，结合集群规模与硬件磁盘配置相结合，对小对象场景的数据恢复参数进行优化，大幅度提高对小对象的数据恢复性能，充分利用NVME硬盘的性能优势，提高NVME存储池的数据恢复性能。以解决现有技术中存在的缺陷和问题。

发明内容

针对现有技术中存在gluster默认集群重构方案，缺少对特殊场景进行优化处理，导致小场景恢复性能低的问题；本发明提供一种基于遗传算法的数据重构自动调参方法、系统及存储介质，以解决上述技术问题。

为实现上述目的，本发明给出以下技术方案：

第一方面，本发明提供一种基于遗传算法的数据重构自动调参方法，包括以下步骤：

S1：引入遗传算法，在数据恢复控制算法中，累加恢复对象的大小，以及记录恢复对象的总数和恢复的小对象的数目；

S2：判断数据恢复场景的类型，根据步骤S1中得到的恢复的不同方式下，恢复个数占总的恢复对象个数的比例，确定选择最佳参数处理方式；

S3：针对步骤S2确定不同的恢复场景，选用算法权衡权重，匹配不同的参数，从而进行优化不同场景下的恢复参数，提高单次恢复的对象的个数，从而达到提高复杂场景数据恢复每秒的读写次数；

S4：在遗传算法训练器中最后清空步骤S1中计数，以便进行下一周期对恢复场景优化恢复参数；

S5：遗传算法下NVME硬盘的处理步骤；

S6：根据集群规模调整重构速度步骤。

作为优选，所述步骤S2中，数据恢复场景类型包括文件、块、对象；通过定时器定时计算下个恢复周期内，数据恢复总的数据恢复量，然后根据遗传算法规则进行数据训练，获得单次恢复的对象个数最佳参数。

作为优选，所述步骤S5中，引入图形处理器多线程思想机制，获取图形处理器线程数，NVME硬盘的大小和gluster存储的总存储量的比例信息，根据获取信息设置多线程训练学习的模型比例，在重构结束恢复默认处理机制。

作为优选，所述步骤S6中，包括以下步骤：

S6.1：根据遗传算法，计算出的当前需要重构的数据量的计算方式；学习出当前周期需要重构的数据量的计算方式，集群重构的总由监控器根据重构的硬盘个数进行遗传算法的计算，不再是根据训练参数补全；