[发明专利]一种存储系统预读方法、装置、设备及存储介质

说明书

本发明公开了一种存储系统预读方法、装置、设备及存储介质，该方法包括：在存储系统挂载到油气勘探服务时，如果需要预读所述存储系统中的数据，则确定需要预读的数据所在文件为目标文件；确定当前时刻文件指针从所述目标文件起点开始的偏移值，并将所述偏移值减去第一数据量所得值作为预读起点，所述第一数据量为第二数据量与预设比例的乘积；确定所述第二数据量与所述文件指针步长的和为预读数据量，从所述预读起点开始读取所述预读数据量的数据，并将读取到的数据存储至内存中，以供需要时获取。使得无论当前是顺序读还是逆序读，均可以从预读的数据中命中部分数据，无需每次都进行磁盘内部定位，有效提高数据读取效率。

技术领域

本发明涉及存储领域技术领域，更具体地说，涉及一种存储系统预读方法、装置、设备及存储介质。

背景技术

油气勘探中，基于震波在不同介质中的速度和振幅，推断可能存在油气的位置；在地底或海底三维建模时，需要对多个探针的数据进行预处理(降噪)，并基于空间将多份数据进行算法处理和手工处理。因为震波数据从几MB到几十GB不等，因此并行计算时难以将所有数据同时加载到内存中处理，油气勘探算法通常只从文件内读取一部分数据进行处理。

在整个勘探作业建模过程中，存储的瓶颈点通常在读取；在实现数据读取时，常常出现数万、十万甚至百万级的固定字节长度读取。磁盘在读取数据时，每次读取数据，磁盘都要进行一次定位(磁头悬臂寻找盘片次数更多)，在整个数据读取的过程中，磁头寻址用时最长，是读取的瓶颈。若能降低读取次数，即磁头定位次数，将大大降低震波建模作业时间。

现代存储系统为了解决读取瓶颈，通常具备预读功能，可提前将较多的数据读取到内存中，进而从内存中直接命中所需的数据。但在石油勘探场景中存在大量数据是需要逆序读取的，这部分数据无法通过预读功能实现，相当于随机读，也即每次都要进行磁盘内部定位，这就导致数据读取效率较低。

发明内容

本发明的目的是提供一种存储系统预读方法、装置、设备及存储介质，无需每次都进行磁盘内部定位，能够有效提高数据读取效率。

为了实现上述目的，本发明提供如下技术方案：

一种存储系统预读方法，包括：

在存储系统挂载到油气勘探服务时，如果需要预读所述存储系统中的数据，则确定需要预读的数据所在文件为目标文件；

确定当前时刻文件指针从所述目标文件起点开始的偏移值，并将所述偏移值减去第一数据量所得值作为预读起点；其中，所述第一数据量为第二数据量与预设比例的乘积；

确定所述第二数据量与所述文件指针步长的和为预读数据量，从所述预读起点开始读取所述预读数据量的数据，并将读取到的数据存储至内存中，以供需要时获取。

优选的，还包括：

获取判定开关的状态，如果所述判定开关的状态为打开，则执行将所述偏移值减去第一数据量所得值作为预读起点的步骤，如果所述判定开关的状态为关闭，则将所述偏移值作为预读起点，执行确定所述第二数据量与所述文件指针步长的和为预读数据量的步骤。

优选的，还包括：

如果所述存储系统需要挂载到油气勘探服务，则自动设置所述判定开关的状态为打开，否则，自动设置所述判定开关的状态为关闭。

优选的，还包括：

对所述内存中的数据进行实时监控，如果监控到任意数据无命中的次数达到次数阈值，则将该任意数据从所述内存中释放。

优选的，还包括：

对所述内存的存储空间进行实时监控，如果所述内存的可用存储空间小于空间阈值，则将所述内存中无命中次数最多的数据从所述内存中释放。

优选的，从所述预读起点开始读取所述预读数据量的数据，包括：