[发明专利]一种分布式存储系统的参数调优方法、系统及装置在审
申请号: | 202110722265.2 | 申请日: | 2021-06-28 |
公开(公告)号: | CN113608677A | 公开(公告)日: | 2021-11-05 |
发明(设计)人: | 王团结;梁鑫辉;李强 | 申请(专利权)人: | 山东海量信息技术研究院;郑州云海信息技术有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06N3/04 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 侯珊 |
地址: | 250001 山东省济南市*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 存储系统 参数 方法 系统 装置 | ||
1.一种分布式存储系统的参数调优方法,其特征在于,包括:
构建并训练好用于根据分布式存储系统的各状态参数推荐所述分布式存储系统的各可调参数的第一全连接神经网络;
采集所述分布式存储系统的各状态参数值,并将所述各状态参数值输入至所述第一全连接神经网络,得到所述分布式存储系统的各可调参数的推荐值;
根据所述推荐值相应调整所述分布式存储系统的各可调参数。
2.如权利要求1所述的分布式存储系统的参数调优方法,其特征在于,所述第一全连接神经网络输出的各可调参数的推荐值均位于0-1之间;
则所述分布式存储系统的参数调优方法还包括:
分别为所述分布式存储系统的各可调参数设定各自对应的最小值和最大值;
在得到所述分布式存储系统的各可调参数的推荐值之后,在根据所述推荐值相应调整所述分布式存储系统的各可调参数之前,根据所述各可调参数各自对应的最小值和最大值,将所述各可调参数的推荐值映射到各自对应的最小值和最大值之间,以根据所述各可调参数映射后的值相应调整所述分布式存储系统的各可调参数。
3.如权利要求1所述的分布式存储系统的参数调优方法,其特征在于,采集所述分布式存储系统的各状态参数值的过程,包括:
在所述分布式存储系统与客户端交互过程中,采集所述分布式存储系统在写操作下的性能指标参数值;
采集所述分布式存储系统的各存储节点的CPU、磁盘及网卡的性能指标参数值。
4.如权利要求3所述的分布式存储系统的参数调优方法,其特征在于,所述分布式存储系统的参数调优方法还包括:
在将所述各状态参数值输入至所述第一全连接神经网络之前,将采集的各状态参数值进行归一化处理,以将归一化处理后的各状态参数值输入至所述第一全连接神经网络。
5.如权利要求1-4任一项所述的分布式存储系统的参数调优方法,其特征在于,所述分布式存储系统的参数调优方法还包括:
构建并训练好用于根据所述分布式存储系统的各状态参数及各可调参数预测所述分布式存储系统的IO性能参数的第二全连接神经网络;
将所述分布式存储系统的各状态参数值及各可调参数值输入至所述第二全连接神经网络,得到所述分布式存储系统的IO性能参数的预测值;其中,所述预测值越大,所述分布式存储系统的IO性能越好。
6.如权利要求5所述的分布式存储系统的参数调优方法,其特征在于,所述分布式存储系统的参数调优方法还包括:
获取向所述分布式存储系统下发IO读写请求的客户端的带宽;
根据预设奖励函数得到所述分布式存储系统对应的奖励值r;其中,BW0为所述客户端的初始带宽;BWt为所述客户端的当前带宽;BWt-1为所述客户端的上一次带宽;奖励值r越大,所述分布式存储系统的IO性能越好。
7.如权利要求6所述的分布式存储系统的参数调优方法,其特征在于,所述分布式存储系统的参数调优方法还包括:
构建由所述分布式存储系统的各可调参数组成的动作向量at,并构建由所述分布式存储系统的各状态参数组成的状态向量St;
则构建用于根据分布式存储系统的各状态参数推荐所述分布式存储系统的各可调参数的第一全连接神经网络的过程,包括:
构建用于根据所述状态向量St推荐所述动作向量at的第一全连接神经网络;
采集所述分布式存储系统的各状态参数值,并将所述各状态参数值输入至所述第一全连接神经网络,得到所述分布式存储系统的各可调参数的推荐值的过程,包括:
采集所述分布式存储系统的各状态参数值,得到由所述各状态参数值组成的状态向量st;
将所述状态向量st输入至所述第一全连接神经网络,得到由所述各可调参数的推荐值组成的动作向量at。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山东海量信息技术研究院;郑州云海信息技术有限公司,未经山东海量信息技术研究院;郑州云海信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110722265.2/1.html,转载请声明来源钻瓜专利网。