[发明专利]一种数据预取方法、装置、电子设备及存储介质

说明书

本申请公开了一种数据预取方法、装置、电子设备及存储介质。方法包括：获取数据预取指令，数据预取指令用于从目标磁盘中预取访问次数大于预设次数的被访问数据；根据数据预取指令，调用被访问数据对应的访问地址序列；将访问条件概率满足预取条件的序列单元确定为目标序列单元，并确定目标序列单元的目标序列标识对应的目标逻辑块地址；从目标磁盘中获取与目标逻辑块地址相匹配的目标逻辑块，并将目标逻辑块中的目标数据写入目标存储介质。本申请通过根据逻辑块地址的访问条件概率从目标磁盘中满足预取条件的逻辑块，并将该逻辑块中存储的数据写入目标存储介质，相比现有技术不再需要去磁盘中读取数据，缩短了访问路径，提高了数据读取效率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据预取方法、装置、电子设备及存储介质。

背景技术

分布式存储系统一般都会通过缓存来缩短前台IO路径，从而达到降低时延提升系统性能的目的。如图2所示，读IO如果要从disk读取数据，IO路径将很长，需要经过接口层、加速层、存储层里面各个模块，而且需要通过多次网络，由于访问路径太长导致时延增加，目前可见的方案是通过加大read cache的物理空间，比如使用更大的内存，或通过SCM/NVME SSD来缓存数据，read cache空间的增加，能提升随机读命中率，但是效果甚微。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种数据预取方法、装置、电子设备及存储介质。

根据本申请实施例的一个方面，提供了一种数据预取方法，包括：

获取数据预取指令，其中，所述数据预取指令用于从目标磁盘中预取访问次数大于预设次数的被访问数据，所述目标磁盘部署在所述分布式存储系统的存储层；

根据所述数据预取指令，调用所述被访问数据对应的访问地址序列，其中，所述访问地址序列包括多个序列单元，每个序列单元包括与所述被访问数据关联的序列标识以及访问条件概率；

将所述访问条件概率满足预取条件的序列单元确定为目标序列单元，并确定所述目标序列单元的目标序列标识对应的目标逻辑块地址；

从目标磁盘中获取与所述目标逻辑块地址相匹配的目标逻辑块，并将所述目标逻辑块中的目标数据写入目标存储介质，其中，所述目标存储介质部署在所述分布式系统中的加速层。

进一步的，在根据所述数据预取指令，调用所述被访问数据对应的访问地址序列之前，所述方法还包括：

获取历史访问记录，其中，所述历史访问记录包括：多个被访问的逻辑块地址，以及每个所述逻辑块地址对应的被访问时间和访问参数；

基于所述访问参数计算所述逻辑块地址对应的访问条件概率；

根据每个所述逻辑块地址对应的访问参数以及访问条件概率，生成所述逻辑块地址对应的序列单元；

按照所述序列单元标识对所述逻辑块地址对应的序列单元进行排序，生成所述访问地址序列。

进一步的，所述访问参数包括：所述逻辑地址块对应的访问次数；

所述基于所述访问参数计算所述逻辑块地址对应的访问条件概率，包括：

根据所述历史访问记录中全部逻辑块地址对应的访问次数求和，得到访问总次数；

基于所述逻辑块地址对应的访问次数以及所述访问总次数，计算所述逻辑块地址对应的第一访问概率；

获取所述逻辑块地址对应的第二访问概率，其中，所述第二访问概率是逻辑块地址在随机条件下被访问的概率；

基于所述第一访问概率和所述第二访问概率，计算所述访问条件概率。