[发明专利]一种数据预取方法、装置、终端及存储介质

说明书

本申请提供了一种数据预取方法、装置、终端及存储介质，该方法包括：响应目标数据的第一读取请求，第一读取请求包括读取属性信息；基于读取属性信息以及本地缓存中存储的对象文件的属性信息，确定目标数据所在的目标对象和目标条带单元；若在目标条带单元中未查找到目标数据，则将目标条带单元的存储容量确定为与目标数据对应的预取范围；基于目标对象的属性信息，确定与目标对象对应的目标服务器；向目标服务器发送读取预取范围内的数据的第二读取请求，以使目标服务器对预取范围内的数据进行读取，得到预取数据；接收目标服务器发送的预取数据。本申请能够提高缓存命中率，减少网络延迟，提高分布式文件系统的数据读访问性能。

技术领域

本申请属于计算机技术领域，具体涉及一种数据预取方法、装置、终端及存储介质。

背景技术

目前分布式文件系统的客户端中使用了内存作为一个读写缓存，在写数据的时候先写入缓存，然后定期淘汰，在读数据的时候也是先从缓存读起，但是在缓存未命中的时候需要去服务器读取数据。现有的数据读取过程一般如下：根据文件的路径和文件名查找文件的元数据信息，对文件数据进行对象分片，根据文件数据的对象分片位置在缓存中进行查找，若缓存为命中，则根据元数据中的数据池通过伪随机数据分布算法(controoledreplication under scalable hashing，crush)定位数据在服务器中的位置，然后去服务器中读取数据。在服务器读取数据的时候会进行数据预取，一般是预取相邻的下一个数据块。

但现有的预取方法是对与读取的数据相邻的数据块进行预取，缓存的命中率以及分布式文件系统的数据读访问性能等不能得到更好的保障。

发明内容

为了提高缓存命中率，减少网络延迟，从而提高分布式文件系统的数据读访问性能，本申请提出一种数据预取方法、装置、终端及存储介质。

一方面，本申请提出了一种数据预取方法，所述方法包括：

响应目标数据的第一读取请求，所述第一读取请求包括读取属性信息；

基于所述读取属性信息以及本地缓存中存储的对象文件的属性信息，确定所述目标数据所在的目标对象和目标条带单元；

在所述目标条带单元中查找所述目标数据，若未查找到所述目标数据，则将所述目标条带单元的存储容量确定为与所述目标数据对应的预取范围；

基于所述目标对象的属性信息，确定与所述目标对象对应的目标服务器；

向所述目标服务器发送读取所述预取范围内的数据的第二读取请求，以使所述目标服务器基于所述第二读取请求对所述预取范围内的数据进行读取，得到预取数据；

接收所述目标服务器发送的所述预取数据。

另一方面，本申请提出了一种数据预取装置，所述装置包括：

响应模块，用于响应目标数据的第一读取请求，所述第一读取请求包括读取属性信息；

第一确定模块，用于基于所述读取属性信息以及本地缓存中存储的对象文件的属性信息，确定所述目标数据所在的目标对象和目标条带单元；

第二确定模块，用于在所述目标条带单元中查找所述目标数据，若未查找到所述目标数据，则将所述目标条带单元的存储容量确定为与所述目标数据对应的预取范围；

第三确定模块，用于基于所述目标对象的属性信息，确定与所述目标对象对应的目标服务器；

发送模块，用于向所述目标服务器发送读取所述预取范围内的数据的第二读取请求，以使所述目标服务器基于所述第二读取请求对所述预取范围内的数据进行读取，得到预取数据；

接收模块，用于接收所述目标服务器发送的所述预取数据。