[发明专利]分布式集群存储方法、系统、装置及计算机可读存储介质在审
申请号: | 201910936872.1 | 申请日: | 2019-09-29 |
公开(公告)号: | CN110650208A | 公开(公告)日: | 2020-01-03 |
发明(设计)人: | 刘子宁 | 申请(专利权)人: | 北京浪潮数据技术有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;G06N3/04 |
代理公司: | 11227 北京集佳知识产权代理有限公司 | 代理人: | 刘新雷 |
地址: | 100085 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 存储性能信息 存储 奖励 集群 存储分配 智能代理 计算机可读存储介质 神经网络模型 数据存储分配 优化神经网络 分布式集群 分配结果 节点负载 历史节点 输出数据 梯度算法 申请 均衡 输出 分析 | ||
1.一种分布式集群存储方法,其特征在于,包括:
获取存储集群中每个节点的存储性能信息;
利用每个节点的存储性能信息,得到每个节点的奖励值;
获取存储集群中每个节点的状态信息;
利用智能代理模型接收每个节点的奖励值和状态信息,所述智能代理模型利用每个节点的奖励值和状态信息,输出与当前每个节点的奖励值和状态信息对应的数据存储分配任务,完成数据的存储分配;
其中,所述智能代理模型为基于神经网络模型,利用策略梯度算法和所述存储集群中节点的奖励值优化神经网络参数,利用历史节点的状态信息进行训练而成的模型。
2.根据权利要求1所述的分布式集群存储方法,其特征在于,所述获取存储集群中每个节点的存储性能信息的过程,包括:
获取存储集群中每个节点单位时间内的I/O数据量和带宽。
3.根据权利要求2所述的分布式集群存储方法,其特征在于,所述利用每个节点的存储性能信息,得到每个节点的奖励值的过程,包括:
利用每个节点的单位时间内的I/O数据量和带宽之和,作为每个节点的奖励值。
4.根据权利要求1所述的分布式集群存储方法,其特征在于,所述智能代理模型包括分别由全连接网络组成的输入层、隐藏层和输出层。
5.根据权利要求4所述的分布式集群存储方法,其特征在于,所述智能代理模型包括输入层、一层隐藏层和输出层,其中,隐藏层包括64个节点。
6.根据权利要求1至5任一项所述的分布式集群存储方法,其特征在于,所述智能代理模型基于策略梯度算法,利用参数更新公式更新神经网络参数;
其中,所述参数更新公式为:θn=θ+α▽θlogπθ(st,at)vt;
式中,θn表示更新后的神经网络参数,θ表示更新前的神经网络参数,a表示预设的学习率,πθ表示智能代理模型,st表示t时刻环境的状态,at表示t时刻智能代理模型输出的数据存储分配任务,vt表示在t时刻πθ在单位时间内所获得的所述存储集群各节点的累积奖励值。
7.根据权利要求1至5任一项所述的分布式集群存储方法,其特征在于,所述获取存储集群中每个节点的状态信息的过程,包括:
获取存储集群中每个节点的真实状态信息;
利用归一化公式对每个节点的真实状态信息进行归一化,得到每个节点的状态信息;
其中,所述归一化公式为:
式中,D表示归一化后的每个节点的状态信息,Dr表示真实状态信息,μD表示各节点的真实状态信息的均值,σD表示各节点的真实状态信息的标准差。
8.一种分布式集群存储系统,其特征在于,包括:
性能信息获取模块,用于获取存储集群中每个节点的存储性能信息;
奖励值计算模块,用于利用每个节点的存储性能信息,得到每个节点的奖励值;
状态信息获取模块,用于获取存储集群中每个节点的状态信息;
任务分配模块,用于利用智能代理模型接收每个节点的奖励值和状态信息,所述智能代理模型利用每个节点的奖励值和状态信息,输出与当前每个节点的奖励值和状态信息对应的数据存储分配任务,完成数据的存储分配;
其中,所述智能代理模型为基于神经网络模型,利用策略梯度算法和所述存储集群中节点的奖励值优化神经网络参数,利用历史节点的状态信息进行训练而成的模型。
9.一种分布式集群存储装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序以实现如权利要求1至7任一项所述的分布式集群存储方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的分布式集群存储方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京浪潮数据技术有限公司,未经北京浪潮数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910936872.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种超大视频文件断点上传的方法
- 下一篇:实现负载均衡的方法和装置