[发明专利]一种基于K-Truss图的存储系统缓存预取方法、系统及介质

说明书

本发明公开了一种基于K‑Truss图的存储系统缓存预取方法、系统及介质，本发明方法步骤包括当系统中的数据请求流到达时判断数据请求流的访问模式，如果是顺序模式则预取数据请求流对应的数据块之后的n个顺序块作为预取数据；否则将数据请求流对应的数据块作为查询点查询K‑Truss图得到与查询点匹配的truss结构，获取truss结构中数据块的数据作为预取数据；根据数据请求流对应的数据块更新K‑Truss图；最终将预取数据块预取到主存中。本发明能够提高内存数据块的命中率，充分发挥存储系统的性能，能够提高缓存的命中率以及缩短响应时间，减少中央处理器中断等待事件，提高处理器的利用率。

技术领域

本发明属于存储系统的性能优化领域，具体涉及一种基于K-Truss图的存储系统缓存预取方法、系统及介质，用于对存储系统数据块进行相关性分析以优化缓存预取。

背景技术

存储器是现代计算机体系中的重要组成部分，如何充分有效地对存储器进行管理，不但影响存储器的性能，而且直接关系到整个计算机系统性能。理想情况下存储器的速度应该非常快，能够跟上处理器的速度，并且存储容量大且价格便宜，但目前的存储设备都无法同时满足这三个条件。容量、速度与价格这三个要求是相互矛盾的。解决这个问题的方法是采用多种存储部件构成层次结构。其中最典型的是三级存储模型，最高层是CPU寄存器，中间为主存，最底层为辅存，由于CPU寄存器很少，所以主要考虑的是主存与辅存之间的关系，主存容量小但是速度快，辅存则容量大而速度慢。用户的所有数据都存放在辅存上，主存作为处理器与辅存之间的一个缓冲区，当用户请求数据时都会先在主存中查询是否已有一份拷贝。如果用户每次请求的数据都能够在主存中找到，那么系统的IO性能将会得到显著的提高，但是由于主存的容量远远小于辅存的容量，所以特定的时间只有一小部分的数据能够存放在主存中。由于计算机的使用过程中用户处理的数据量是随机而巨大的，所以对主存中存储数据的实时控制对于系统的整体性能影响重大。

为了实现主存中数据的有效管理，研究人员尝试使用多种方式来根据用户的历史访问记录预测未来某段时间可能访问的数据，并将这些数据在被访问之前预取到主存中，而当用户真正需要访问这些数据时就能够命中，这种情况下系统的性能就会非常高。

在这些方法中，大多数的方法都是在于识别顺序访问模式，因为顺序访问模式只需要根据用户IO请求中的逻辑地址的偏移量来进行识别，算法简单方便。比如OBL（OneBlock Lookahead）及其演化的类似算法，在触发预取时请求数据块时预取出后面的α个数据块，而AMP（Adaptivate Multi-stream Prefetching）则是使用多个队列记录每次访问的地址，等当前访问的地址与之前某个队列中的地址连续时则触发预取操作等等。这在视频、音频等服务器中是十分有效的，因为这些类型服务器中的数据请求流大多是顺序式的，而类似Web应用的访问则是基于链接的分支访问，数据库应用经常需要进行随机访问，顺序预取算法在这种情况下无法发现其中潜在的关联，从而效果不佳甚至失效。

还有一部分的算法则是识别用户请求块之间的复合模式，比如C-miner，是一种离线算法，根据历史用户IO请求记录使用频繁序列挖掘算法挖掘数据块之间的访问模式，然后再进行在线预测。 MMS或者Nexus-like预取模型则是根据系统文件之间构成的概率图来产生预取决策，因为需要对整个系统的文件之间进行分析，所以占用的空间比较巨大，另外是没有顺序访问预取，所以不具有普适性。因此当前的预取算法大多不能够同时识别顺序访问模式与复合模式，还有部分算法存在不支持实时性以及占用空间巨大的问题。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，为了提高存储系统的性能以及解决缓存预取的问题，提供一种基于K-Truss图的存储系统缓存预取方法、系统及介质，本发明能够提高内存数据块的命中率，充分发挥存储系统的性能，能够提高缓存的命中率以及缩短响应时间，减少中央处理器中断等待事件，提高处理器的利用率。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于K-Truss图的存储系统缓存预取方法，实施步骤包括：