[发明专利]数据读取方法、装置及设备有效
申请号: | 201910106492.5 | 申请日: | 2019-01-31 |
公开(公告)号: | CN109815048B | 公开(公告)日: | 2022-11-08 |
发明(设计)人: | 张天洁 | 申请(专利权)人: | 新华三技术有限公司成都分公司 |
主分类号: | G06F11/10 | 分类号: | G06F11/10;G06F3/06 |
代理公司: | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人: | 范彦扬 |
地址: | 610000 四川省成都市中国(四川)自由*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 读取 方法 装置 设备 | ||
1.一种数据读取方法,其特征在于,所述方法包括:
生成存储集群的全局磁盘读取时延数据;
从所述全局磁盘读取时延数据中获取待读取数据关联的多个目标磁盘的读取时延;所述待读取数据基于纠删码机制存储于所述存储集群;
从多个所述目标磁盘中选取N个最小读取时延的目标磁盘;其中,N等于所述待读取数据的原始数据分片的总数;
向被选取的每个所述目标磁盘发送读取命令;
所述方法还包括:
确定本设备为所述存储集群的主用设备;
从所述存储集群上一周期的所有可用磁盘中,按照预设可靠磁盘个数选择读取时延最小的磁盘为可靠磁盘;
计算这些所述可靠磁盘的读取时延的平均值作为可疑磁盘阈值;
从所述上一周期内所述集群的可靠磁盘之外的磁盘中,选择所述可疑磁盘阈值的第一设定倍数以上的各读取时延对应的磁盘为可疑磁盘;
将连续预设个数的周期被标识为可疑磁盘的磁盘确定为异常磁盘;
向所述存储集群的其他存储节点通知所述异常磁盘。
2.根据权利要求1所述的方法,其特征在于,生成存储集群的全局磁盘读取时延数据的步骤,包括:
周期性监测本地磁盘的读取时延数据;
接收其它存储节点的磁盘的读取时延数据;
将所述本地磁盘的读取时延数据和其它存储节点的磁盘的读取时延数据组合形成存储集群的全局磁盘读取时延数据。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
筛选所述存储集群在上一周期是否有可疑节点;
筛选出所述上一周期的一个以上可疑节点时,统计所述上一周期的每个可疑节点被连续筛选为可疑节点的次数;
将所述上一周期内,被连续筛选为可疑节点的次数超出异常节点阈值的可疑节点标识为异常节点;
向其他每个所述存储节点通知每个所述异常节点。
4.根据权利要求3所述的方法,其特征在于,筛选所述存储集群在上一周期是否有可疑节点包括:计算所述上一周期的每个所述存储节点包含的硬盘的读取时延的平均值,作为所述上一周期的每个所述存储节点的节点读取时延;
将所述上一周期的节点读取时延按照从高到低进行排序;
从所述上一周期的最高节点读取时延开始,每次选择一个节点读取时延,根据被选的节点读取时延以外的其他节点读取时延计算平均值作为被选的节点的筛选阈值;被选的节点读取时延大于或等于被选的节点的筛选阈值的第二设定倍数时,将被选的节点读取时延对应的存储节点筛选为可疑节点;
当被选的节点读取时延小于被选的节点的筛选阈值的第二设定倍数时,停止筛选所述存储集群在上一周期的可疑节点。
5.一种数据读取装置,其特征在于,所述装置包括:
全局时延获取模块,用于生成存储集群的全局磁盘读取时延数据;
磁盘时延获取模块,用于从所述全局磁盘读取时延数据中获取待读取数据关联的多个目标磁盘的读取时延;所述待读取数据基于纠删码机制存储于所述存储集群;
磁盘选取模块,用于从多个所述目标磁盘中选取N个最小读取时延的目标磁盘;其中,N等于所述待读取数据的原始数据分片的总数;
读取命令发送模块,用于向被选取的每个所述目标磁盘发送读取命令;
所述装置还包括异常磁盘确定模块,用于:
确定本设备为所述存储集群的主用设备;
从所述存储集群上一周期的所有可用磁盘中,按照预设可靠磁盘个数选择读取时延最小的磁盘为可靠磁盘;
计算这些所述可靠磁盘的读取时延的平均值作为可疑磁盘阈值;
从所述上一周期内所述集群的可靠磁盘之外的磁盘中,选择所述可疑磁盘阈值以上的各读取时延对应的磁盘为可疑磁盘;
将连续预设个数的周期被标识为可疑磁盘的磁盘确定为异常磁盘;
向所述存储集群的其他存储节点通知所述异常磁盘。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三技术有限公司成都分公司,未经新华三技术有限公司成都分公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910106492.5/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置