[发明专利]一种分布式文件系统的输入输出预读方法和装置

说明书

本发明公开了一种分布式文件系统的输入输出预读方法和装置，该方法包括：获取预读请求，并基于预读请求确定预读区间；基于预读区间和分布式文件系统的条带划分位置，确定要预读的至少一个条带；为要预读的至少一个条带分别生成相应的至少一个子请求，并使用至少一个子请求以彼此独立的方式替代预读请求执行输入输出预读。本发明能够升存储池服务IO友好性并避免重复预读，提升分布式文件系统的预读效率。

技术领域

本发明涉及数据预读领域，更具体地，特别是指一种分布式文件系统的输入输出预读方法和装置。

背景技术

对于分布式文件系统(对象存储)，大文件预读长度最小与读长度相同，由于实际读长度小于对象条带大小，导致底层小IO屏蔽性差。底层小IO主要指的是指多个数据量较小的IO(输入输出)请求同时读同一个数据对象，由于读同一个对象，相互产生读竞争，时延较高。同时，预读数据所有条带(对象)一次下发，所有预读条带被强制关联，例如同时读取3个条带对象时会下发一次预读请求，只有3个条带对象都加载并缓存完整时才认为是预读完成。等待所有条带加载过程中，已加载的条带可能先被读取，会出现以下情况：1)读过的数据被抛弃，预读会再次读取此条带，直到所有条带数据全部加载完成；2)预读完成后，会将本次预读数据热度提前，已经读取过的数据热度提升会大于未预读的数据，导致后续未读的数据优先被抛弃。

针对现有技术中大量底层小IO、关联条带重复读取导致影响存储池效率的问题，目前尚无有效的解决方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种分布式文件系统的输入输出预读方法和装置，能够升存储池服务IO友好性并避免重复预读，提升分布式文件系统的预读效率。

基于上述目的，本发明实施例的第一方面提供了一种分布式文件系统的输入输出预读方法，包括执行以下步骤：

获取预读请求，并基于预读请求确定预读区间；

基于预读区间和分布式文件系统的条带划分位置，确定要预读的至少一个条带；

为要预读的至少一个条带分别生成相应的至少一个子请求，并使用至少一个子请求以彼此独立的方式替代预读请求执行输入输出预读。

在一些实施方式中，预读请求包括起始地址和终止地址；

基于预读请求确定预读区间包括：根据起始地址和终止地址之差确定预读区间。

在一些实施方式中，条带包括请求在两个相邻的条带划分位置之间连续预读的整条带、和与不同于整条带的非整条带；基于预读区间和分布式文件系统的条带划分位置，确定要预读的至少一个条带包括：

基于预读区间和分布式文件系统的条带划分位置，将预读区间划分为待处理的至少一个条带；

响应于待处理的至少一个条带中的最后一个条带为非整条带，而抛弃非整条带；

响应于抛弃非整条带后仍存在待处理的至少一个条带，而将待处理的至少一个条带确定为要预读的至少一个条带。

在一些实施方式中，还包括：响应于抛弃非整条带后不再存在任何待处理的条带，而直接抛弃预读请求。

在一些实施方式中，响应于抛弃非整条带后仍存在待处理的至少一个条带，而将待处理的至少一个条带确定为要预读的至少一个条带包括：

响应于待处理的至少一个条带中的第一个条带为整条带，而直接将整条带确定为要预读的至少一个条带中的第一个条带：

响应于待处理的至少一个条带中的第一个条带为非整条带，而将非整条带填充为相应的整条带，并将整条带确定为要预读的至少一个条带中的第一个条带。

本发明实施例的第二方面提供了一种分布式文件系统的输入输出预读装置，包括：

处理器；和