[发明专利]一种基于深度学习的块级缓存预取优化方法和系统

说明书

本发明公开了一种基于深度学习的块级缓存预取优化方法，包括：从测试数据集获取以字节为单位的IO数据，将该IO数据转化为以块为单位的IO数据，判断转化后的IO数据是否在缓存中命中，如果没有则对转化后的IO数据进行顺序预测，以得到多个存储块，将转化后的IO数据存储在内存的IO队列中，并判断该IO队列是否已满，如果是则将内存的IO队列中的所有IO数据输入训练好的Seq2Seq模型中，以得到预测的IO数据，并根据该预测的IO数据获取对应的多个存储块。本发明根据利用深度学习的方法挖掘IO的相关性，并利用基于LSTM的Seq2Seq模型完成IO序列的预测，最后将IO序列预测与顺序预测相结合，从而完成缓存的预取，提升缓存的命中率。

技术领域

本发明属于计算机存储技术领域，更具体地，涉及一种基于深度学习的块级缓存预取优化方法和系统。

背景技术

在大数据时代，存储系统的性能变得越来越重要，为了进一步提升存储系统的性能，需要对本地磁盘的块级访问进行预取。

当前块级访问的预取方法主要有固定预取算法、顺序预取算法、基于应用暗示的预取算法、基于数据挖掘的预取算法等。其中固定预取算法实现较为简单，只需预取当前访问数据后面n个数据即可；顺序预取算法是对固定预取算法的一种改进，它可以根据数据的访问特性，自动调整预取的时机与预取的数量；基于应用暗示的预取算法通过提供给上层应用一个接口，按照上层应用的指令完成预取；基于数据挖掘的预取算法通过挖掘历史访问数据完成预取，例如：C-Miner方法通过寻找频繁子序列的方式挖掘数据块的相关性，并将其转化为关联规则完成预取工作，Block2Vec方法基于深度学习挖掘存储块的相关性，通过计算存储块向量之间的余弦距离也可以完成预取。

然而，上述块级访问的预取方法均存在一些不可忽略的缺陷：固定预取算法与顺序预取算法都只是利用了数据访问的局部性原理，并且预取效率与预取准确率都比较低；基于应用暗示的预取算法需要提供给上层应用一个传达预取指令的接口，这在很多系统中是无法得到支持的；基于数据挖掘的预取算法，挖掘数据访问特性的能力也比较有限，在不同的访问模式中，预取准确率表现差异很大。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基深度学习的块级缓存预取优化方法，其目的在于，根据利用深度学习的方法挖掘IO的相关性，并利用基于LSTM的Seq2Seq模型完成IO序列的预测，最后将IO序列预测与顺序预测相结合，从而完成缓存的预取，提升缓存的命中率。

为实现上述目的，按照本发明的一个方面，提供了一种基于深度学习的块级缓存预取优化方法，包括：

(1)从测试数据集获取以字节为单位的IO数据，将该IO数据转化为以块为单位的IO数据；

(2)判断转化后的IO数据是否在缓存中命中，如果是则过程结束，否则进入步骤(3)；

(3)对转化后的IO数据进行顺序预测，以得到多个存储块；

(4)将转化后的IO数据存储在内存的IO队列中，并判断该IO队列是否已满，如果是则进入步骤(5)，否则返回步骤(1)；

(5)将内存的IO队列中的所有IO数据输入训练好的基于LSTM的Seq2Seq模型中，以得到预测的IO数据，并根据该预测的IO数据获取对应的多个存储块；

(6)根据缓存替换算法，并使用步骤(3)和步骤(5)得到的存储块替换缓存中的存储块。

优选地，步骤(1)转化后的IO数据是用其逻辑块地址LBA与该IO数据的存储块数BlockNum共同表示。

优选地，根据预测的IO数据获取对应的多个数据块，是首先解析该IO数据，从而获得其逻辑块地址LBA、及其存储块数BlockNum，进而得到该预测的IO数据所包括的所有存储块。