[发明专利]数据读取方法、装置及设备有效
申请号: | 201910106492.5 | 申请日: | 2019-01-31 |
公开(公告)号: | CN109815048B | 公开(公告)日: | 2022-11-08 |
发明(设计)人: | 张天洁 | 申请(专利权)人: | 新华三技术有限公司成都分公司 |
主分类号: | G06F11/10 | 分类号: | G06F11/10;G06F3/06 |
代理公司: | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人: | 范彦扬 |
地址: | 610000 四川省成都市中国(四川)自由*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 读取 方法 装置 设备 | ||
本公开提供了一种数据读取方法、装置及设备,其中,该方法包括:生成存储集群的全局磁盘读取时延数据;从全局磁盘读取时延数据中获取待读取数据关联的多个目标磁盘的读取时延;待读取数据基于纠删码机制存储于存储集群;从多个目标磁盘中选取N个最小读取时延的目标磁盘;其中,N等于待读取数据的原始数据分片的总数;向被选取的每个目标磁盘发送读取命令。本公开能够有效降低纠删码配置下的数据读取时延。
技术领域
本公开涉及通信技术领域,尤其是涉及一种数据读取方法、装置及设备。
背景技术
纠删码技术是一种存储系统为保证数据持久性而经常采用的技术。其主要是将数据分割成N个原始数据分片,并按照算法生成M个冗余数据分片,从而形成(N,M)的纠删码配置。当N个原始数据分片的M个以下原始数据分片丢失时,从M个冗余数据分片中,选择丢失的原始数据分片的数量相应数量的冗余数据分片,进行数据重建。
在存储集群中,同一个数据的原始数据分片和冗余数据分片存储在不同的磁盘上。但是,这些磁盘分布在不同的存储节点,当被读取的原始数据分片或冗余数据分片被存储于时延较长的磁盘或存储节点,导致纠删码配置下的数据读取时延也相应较长。
发明内容
有鉴于此,本公开的目的在于提供一种数据读取方法、装置及设备,能够有效降低纠删码配置下的数据读取时延。
为了实现上述目的,本公开实施例采用的技术方案如下:
第一方面,本公开实施例提供了一种数据读取方法,所述方法包括:生成存储集群的全局磁盘读取时延数据;从所述全局磁盘读取时延数据中获取待读取数据关联的多个目标磁盘的读取时延;所述待读取数据基于纠删码机制存储于所述存储集群;从多个所述目标磁盘中选取N个最小读取时延的目标磁盘;其中,N等于所述待读取数据的原始数据分片的总数;向被选取的每个所述目标磁盘发送读取命令。
第二方面,本公开实施例还提供一种数据读取装置,所述装置包括:全局时延获取模块,用于生成存储集群的全局磁盘读取时延数据;磁盘时延获取模块,用于从所述全局磁盘读取时延数据中获取待读取数据关联的多个目标磁盘的读取时延;所述待读取数据基于纠删码机制存储于所述存储集群;磁盘选取模块,用于从多个所述目标磁盘中选取N个最小读取时延的目标磁盘;其中,N等于所述待读取数据的原始数据分片的总数;读取命令发送模块,用于向被选取的每个所述目标磁盘发送读取命令。
第三方面,本公开实施例提供了一种数据读取设备,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器执行所述机器可执行指令以实现第一方面任一项所述的方法。
第四方面,本公开实施例提供了一种机器可读存储介质,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令在被处理器调用和执行时,所述机器可执行指令促使所述处理器实现第一方面任一项所述的方法。
本公开实施例提供了一种数据读取方法、装置及设备,能够生成存储集群的全局磁盘读取时延数据,并从中获取待读取数据(基于纠删码机制存储于存储集群)关联的多个目标磁盘的读取时延,然后从多个目标磁盘中选取N个(等于待读取数据的原始数据分片的总数)最小读取时延的目标磁盘,从而向被选取的每个所述目标磁盘发送读取命令。这种数据读取方式无需读取全部的目标磁盘,而是根据读取时延选取与待读取数据的原始数据分片的总数等同的目标磁盘,并仅从选取的目标磁盘中读取数据分片。这种方式可有效降低纠删码配置下的数据读取时延。
本公开实施例的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本公开实施例的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三技术有限公司成都分公司,未经新华三技术有限公司成都分公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910106492.5/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置