[发明专利]数据读写方法、装置、设备及计算机可读存储介质有效
申请号: | 201910572489.2 | 申请日: | 2019-06-27 |
公开(公告)号: | CN110308875B | 公开(公告)日: | 2023-07-14 |
发明(设计)人: | 郑炎亭;吴大立 | 申请(专利权)人: | 深信服科技股份有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 胡海国 |
地址: | 518000 广东省深圳市南*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 读写 方法 装置 设备 计算机 可读 存储 介质 | ||
1.一种数据读写方法,其特征在于,所述数据读写方法包括如下步骤:
获取分布式存储系统当前的各物理节点包含的硬盘数量;
获取上层应用在预设时长内下发的数据读写请求所请求读写的单位数据流的大小;
根据所述硬盘数量调整与所述上层应用对应的条带宽度;
根据所述单位数据流的大小调整与所述上层应用对应的条带深度;
根据调整后的所述条带宽度和所述条带深度执行对所述各物理节点的数据读写操作;
所述根据所述硬盘数量调整与所述上层应用对应的条带宽度的步骤包括:
当所述上层应用当前的IO策略为IO本地化策略时,获取包含硬盘数量最少的物理节点的硬盘数,并将获取到的所述硬盘数作为目标硬盘数;
检测与IO请求对应的待读写的数据是否为多副本数据;
若是,则所述条带宽度调整为小于或等于所述目标硬盘数除以相应的副本数;
所述根据所述单位数据流的大小调整与所述上层应用对应的条带深度的步骤包括:
将所述预设时长分为若干个时间段,分别为各时间段设置对应的权重值;
将各时间段内下发的单位数据流的大小乘以对应的权重值后进行求和,得到一个单位数据流的大小的参考值;
根据所述参考值调整与所述上层应用对应的条带深度。
2.如权利要求1所述的数据读写方法,其特征在于,所述根据所述硬盘数量调整与所述上层应用对应的条带宽度的步骤包括:
获取所述上层应用的IO策略;
若所述上层应用的IO策略为IO本地化策略,则获取包含硬盘数量最少的物理节点的硬盘数,并将获取到的所述硬盘数作为目标硬盘数;
将与所述上层应用对应的条带宽度调整为小于或等于所述目标硬盘数。
3.如权利要求1所述的数据读写方法,其特征在于,所述根据所述单位数据流的大小调整与所述上层应用对应的条带深度的步骤包括:
获取在所述预设时长内出现频次最高的单位数据流的大小;
确定所述出现频次最高的单位数据流的大小所处的预设区间;
查询单位数据流的大小区间与条带深度之间的预设映射关系,得到与所述预设区间对应的条带深度,并将与所述预设区间对应的条带深度作为目标条带深度;
将与所述上层应用对应的条带深度调整为所述目标条带深度。
4.如权利要求1至3中任一项所述的数据读写方法,其特征在于,所述数据读写方法还包括:
若检测到创建文件分片组的指令,则获取调整后的所述条带宽度和所述条带深度;
根据调整后的所述条带宽度和所述条带深度创建文件分片组。
5.如权利要求4所述的数据读写方法,其特征在于,所述数据读写方法还包括:
检测所述分布式存储系统是否满足预设的空闲条件;
若所述分布式存储系统满足预设的空闲条件,则获取不符合调整后的所述条带宽度和所述条带深度的文件分片;
将获取到的所述文件分片按照预设的业务类型进行归类;
根据调整后的所述条带宽度和所述条带深度,将同一分类下的所述文件分片重新写入至所述分布式存储系统各物理节点的硬盘中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深信服科技股份有限公司,未经深信服科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910572489.2/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置