[发明专利]分布式集群存储方法、系统、装置及计算机可读存储介质

说明书

本申请公开了一种分布式集群存储方法、系统、装置及计算机可读存储介质，包括：获取存储集群中每个节点的存储性能信息；利用每个节点的存储性能信息，得到每个节点的奖励值；获取每个节点的状态信息；利用智能代理模型接收每个节点的奖励值和状态信息，利用每个节点的奖励值和状态信息，输出对应的数据存储分配任务，完成数据的存储分配；本申请根据存储集群中各节点的存储性能信息设置奖励值，综合各节点的状态信息，利用基于神经网络模型，利用策略梯度算法和存储集群中节点的奖励值优化神经网络参数，利用历史节点的状态信息进行训练而成的智能代理模型进行分析，输出数据存储分配任务，确保了各节点负载均衡，分配结果稳定。

技术领域

本发明涉及分布式存储领域，特别涉及一种分布式集群存储方法、系统、装置及计算机可读存储介质。

背景技术

在当今的大数据时代，海量的数据存储占用大量的存储空间。在分布式系统中，数据存储算法主要有两个依据：均匀性和稳定性。其中均匀性保证不同节点负载均衡，稳定性保证分布结果稳定。目前，分布式系统中数据存储技术主要有以下几种方式Hash、一致性Hash、带负载上限的一致性Hash、带虚拟节点的一致性Hash和分片，但上述几种数据分配方法，均无法保证数据存储的均匀性和稳定性，无法确保数据能够分配到最优的节点。

为此，需要进一步改进的使数据能够分配到最优的节点，确保数据存储的均匀性和稳定性的分布式集群存储方法。

发明内容

有鉴于此，本发明的目的在于提供一种分布式集群存储方法、系统、装置及计算机可读存储介质，使数据能够分配到最优的节点，保证数据存储的均匀性和稳定性。其具体方案如下：

一种分布式集群存储方法，包括：

获取存储集群中每个节点的存储性能信息；

利用每个节点的存储性能信息，得到每个节点的奖励值；

获取存储集群中每个节点的状态信息；

利用智能代理模型接收每个节点的奖励值和状态信息，所述智能代理模型利用每个节点的奖励值和状态信息，输出与当前每个节点的奖励值和状态信息对应的数据存储分配任务，完成数据的存储分配；

其中，所述智能代理模型为基于神经网络模型，利用策略梯度算法和所述存储集群中节点的奖励值优化神经网络参数，利用历史节点的状态信息进行训练而成的模型。

可选的，所述获取存储集群中每个节点的存储性能信息的过程，包括：

获取存储集群中每个节点单位时间内的I/O数据量和带宽。

可选的，所述利用每个节点的存储性能信息，得到每个节点的奖励值的过程，包括：

利用每个节点的单位时间内的I/O数据量和带宽之和，作为每个节点的奖励值。

可选的，所述智能代理模型包括分别由全连接网络组成的输入层、隐藏层和输出层。

可选的，所述智能代理模型包括输入层、一层隐藏层和输出层，其中，隐藏层包括64个节点。

可选的，所述智能代理模型基于策略梯度算法，利用参数更新公式更新神经网络参数；

其中，所述参数更新公式为：θ_n＝θ+α▽_θlogπ_θ(s_t,a_t)v_t；