[发明专利]一种数据预取方法、装置、终端及存储介质在审
申请号: | 201910662766.9 | 申请日: | 2019-07-22 |
公开(公告)号: | CN110471894A | 公开(公告)日: | 2019-11-19 |
发明(设计)人: | 葛凯凯 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/172 | 分类号: | G06F16/172;G06F16/182 |
代理公司: | 44202 广州三环专利商标代理有限公司 | 代理人: | 郝传鑫;贾允<国际申请>=<国际公布>= |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 读取 属性信息 目标服务器 读取请求 目标对象 目标数据 条带单元 预取 预取数据 分布式文件系统 缓存 服务器发送 缓存命中率 存储介质 存储容量 对象文件 访问性能 接收目标 数据预取 网络延迟 响应目标 数据读 申请 存储 发送 终端 | ||
1.一种数据预取方法,其特征在于,所述方法包括:
响应目标数据的第一读取请求,所述第一读取请求包括读取属性信息;
基于所述读取属性信息以及本地缓存中存储的对象文件的属性信息,确定所述目标数据所在的目标对象和目标条带单元;
在所述目标条带单元中查找所述目标数据,若未查找到所述目标数据,则将所述目标条带单元的存储容量确定为与所述目标数据对应的预取范围;
基于所述目标对象的属性信息,确定与所述目标对象对应的目标服务器;
向所述目标服务器发送读取所述预取范围内的数据的第二读取请求,以使所述目标服务器基于所述第二读取请求对所述预取范围内的数据进行读取,得到预取数据;
接收所述目标服务器发送的所述预取数据。
2.根据权利要求1所述的方法,其特征在于,所述读取属性信息包括读偏移量,所述对象文件包括至少一个对象集,每个对象集包括至少一个对象,每个对象包括至少一个条带单元,则所述基于所述读取属性信息以及本地缓存中存储的对象文件的属性信息,确定所述目标数据所在的目标对象和目标条带单元,包括:
基于所述读偏移量以及条带单元的存储容量,确定所述目标数据所在的条带单元编号;
基于所述条带单元编号以及每个条带所容纳的条带单元个数,确定所述目标数据所在的条带编号以及所述目标数据的条带内偏移量;
基于所述条带编号以及每个对象包括的条带单元个数,确定所述目标数据所在的对象集编号;
基于所述对象集编号、每个条带所容纳的条带单元个数以及所述条带内偏移量,确定所述目标数据所在的对象编号;
基于所述对象集编号、所述对象编号、所述条带单元编号和所述条带编号,确定所述目标数据所在的目标对象和目标条带单元。
3.根据权利要求2所述的方法,其特征在于,所述读取属性信息包括读取范围,则在确定所述目标数据所在的目标对象和目标条带单元之后,所述方法还包括:
基于所述条带编号、每个对象包括的条带单元个数以及所述条带单元的存储容量,确定所述读偏移量在所述目标对象中的第一偏移量;
基于所述读偏移量以及所述条带单元的存储容量,确定所述读偏移量在所述目标条带单元中的第二偏移量;
基于所述第一偏移量以及所述第二偏移量,确定所述目标条带单元的偏移地址;
基于所述目标条带单元的存储容量以及所述第二偏移量,确定所述目标条带单元的剩余容量;
基于所述读取范围以及所述剩余容量,确定所述目标数据的目标读取范围。
4.根据权利要求3所述的方法,其特征在于,所述在所述目标条带单元中查找所述目标数据之后,所述方法还包括:
若查找到所述目标数据,则从所述偏移地址开始读取所述目标读取范围内的数据。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括对所述本地缓存进行管理的步骤,所述对所述本地缓存进行管理,包括:
将所述本地缓存划分为第一缓存和第二缓存,所述第一缓存的访问频率高与所述第二缓存的访问频率;所述第一缓存包括至少一个第一条带单元,每个第一条带单元包括历史预取数据和第一缓存数据,所述第二缓存包括至少一个第二条带单元,每个第二条带单元包括第二缓存数据和空数据;其中,所述历史预取数据表征在所述预取数据之前预设时间内预取的且未被访问过的数据,所述第一缓数据和所述第二缓存数据表征已经被访问过的数据,所述空数据表征内容为空的数据;
将所述第一条带单元按照访问频率进行优先级降序排列,得到第一优先级序列;
将所述第二条带单元按照访问频率进行降序优先级降序排列,得到第二优先级序列。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910662766.9/1.html,转载请声明来源钻瓜专利网。