[发明专利]一种基于混合页面的磁盘缓存去重方法

说明书

本发明公开了一种基于混合页面的磁盘缓存去重方法。传统基于LRU的磁盘缓存并不能识别缓存中内容相同的重复数据块，使得缓存中存在一定的冗余数据，同时传统磁盘缓存都是基于固定的页面大小，而页面大小也是影响缓存命中率的重要因素，最佳的页面大小能够最大化缓存命中率。本发明提出一种基于混合页面的磁盘缓存去重方法，在磁盘缓存中引入混合页机制，保留基页的同时，增加巨页，并自适应调整巨页的大小以使命中率最大化。同时监测基页、巨页的冷热程度，将重复率高的冷巨页拆分为基页或将拆分后的热基页重构为巨页，实现基页、巨页的动态转换。利用重复数据删除技术对基页、巨页分别进行去重处理，使命中率最大化的同时保持去重率。

技术领域

本发明涉及混合页机制下的磁盘缓存技术领域，具体涉及一种基于混合页面的磁盘缓存去重方法。

背景技术

重复数据删除技术是消除缓存冗余数据的主要技术手段。其通过对缓存空间进行去重检测，筛选出完全相同的数据块并进行删除操作，在缓存中只保留唯一的副本，从而消除缓存中的冗余数据，节省缓存空间。去重技术按照去重粒度可分为字节级去重、块级去重和文件级去重，其中字节级去重主要是利用Delta编码来识别重复数据，而块级和文件级则主要是利用哈希算法(如MD5和SHA-1)来识别相应的重复数据块。去重过程主要包括数据块切分、指纹计算和数据块检索，首先将数据按照固定大小分割为数据块，并为每个数据块计算指纹，然后将指纹作为关键字进行Hash比对，若匹配成功则为重复数据块，最后进行去重操作。

混合页机制能够增大缓存页面大小，使得相同大小的TLB能够存放更多的页，映射到更多的内存空间，极大地提高了TLB的命中率。同时混合页机制能够自适应地调整缓存中的页面大小，从而使缓存命中率达到最大。页面大小是由处理器体系架构决定的，传统的系统架构通常只具有统一的页面大小，例如为4K大小。随着计算机的发展，现在的体系结构大多都能很好地支持多种页面大小，为混合页机制引入磁盘缓存系统提供了硬件条件。

在实现本发明的过程中，发明人发现现有技术中至少存在如下技术问题：传统基于LRU替换算法的磁盘缓存系统，并不能有效识别缓存中的重复数据，导致缓存中存在大量冗余数据。

发明内容

本发明的目的是为了解决上述现有技术中存在的缺陷，提出一种基于混合页面的磁盘缓存去重方法，其技术方案主要是在磁盘缓存中引入混合页机制，监测基页和巨页的冷热程度，动态调整巨页的页面大小，并分别对其进行去重操作，在保持较高去重率的情况下提高缓存的命中率。

本发明的技术目的通过以下技术方案实现：

一种基于混合页面的磁盘缓存去重方法，在磁盘缓存中引入混合页机制，保留基页同时增加巨页，并自适应调整巨页的大小提高缓存的命中率。

该基于混合页面的磁盘缓存去重方法过程如下：

S1、磁盘在进行数据的读写时，巨页产生器从应用程序中读入初始页面地址，将连续的基页进行合并，生成相应巨页；

S2、页面监视器对磁盘缓存中基页和巨页的访问频率(冷热程度)进行实时监测，若巨页的访问频率较低，则将巨页拆分为若干个连续的基页，若基页的访问频率变高，则又将连续基页重构为巨页；

S3、将调整后的基页和巨页分别进行去重操作，采用固定分块的重复数据删除方法，利用MD5算法对数据块进行指纹计算，识别出重复的数据块，在缓存中只保留唯一的数据块。

进一步地，所述的应用程序中读入的初始页面地址是固定的，应用程序开始工作时，巨页产生的步骤如下：

S11、巨页产生器从应用程序中读入初始页面地址；

S12、检测初始页面地址是否连续，若存在固定数量的连续初始页，则将其合并为巨页；

S13、对合并的巨页相应字段进行填充，保证巨页字段的完整性。