[发明专利]一种针对在线主存储重删的差异化缓存方法

说明书

本发明公开了一种针对在线主存储重删的差异化缓存方法，包括：在收到写I/O请求后根据来源进行数据分流为不同的数据流，将数据分块为数据块，并计算每一个数据块的指纹；对不同的数据流进行指纹采样，若某一数据流采样时间到时则对该数据流进行局部性预测得到数据流中非冗余数据块的数量，并根据非冗余数据块的数量调整该数据流的指纹缓存替换概率；正对每一个数据块进行处理，且缓存满需要替换时则按照不同数据流的指纹缓存替换概率优先换出那些冗余块局部性较差数据流中的数据块的指纹。

技术领域

本发明涉及存储系统领域，具体涉及一种针对在线主存储重删的差异化缓存方法，用于差异化的缓存技术提高主存储重删中指纹索引效率，进而提高在线主存储重删率、降低重删逻辑带来的I/O延迟以及延长SSD硬盘的使用寿命等。

背景技术

冗余数据广泛存在于云计算场景下的主存储系统中，这些冗余数据一方面浪费了宝贵的存储容量，另一方面也带来了不必要的存储性能损失。因此，在主存储中消除冗余数据具有重要意义。数据重删技术将数据拆分成多个小块，通过哈希算法得到每个小块的指纹并使用这些指纹来识别和减少冗余数据块。现有的主存储重复数据删除技术主要包括以下两种：一是使用在线方式，通过内联缓存来利用工作负载中的局部性；二是使用离线处理的方式来避免对I/O性能的负面影响。面向在线主存储重删的场景，主存储对I/O延迟要求高，相比于文件系统层，块设备层具有现成的数据分块，避免了数据分块的开销，因而在线主存储重删往往通过设备映射等机制，在块设备层进行实现。

如图1所示，一般的主存储重删实现方法的步骤包括：(1)收到写I/O请求，包含数据块及其逻辑块好LBN；将数据进行分块；利用SHA-1等哈希算法计算得到每一个数据块的指纹；(2)检索指纹到物理块号映射是否存在(通过指纹索引表查询新写入块是否存在)，若存在，进行步骤(3)；否则，进行步骤(6)；(3)检索逻辑块号到物理块号的映射是否已经存在，如果已经存在，进行步骤(4)，否则进行步骤(5)。(4)检查物理块号是否与旧的物理块号一致，若一致，说明这是一个冗余I/O，无须进行任何操作，过程结束；否则，减小旧物理块号引用计数，进入步骤(5)；(5)向索引表增加逻辑块号到物理块号映射，增加新的物理块号的引用计数，结束。(6)检查逻辑块号到物理块号的映射是否已经存在，如果已经存在，进行步骤(7)，否则进行步骤(8)。(7)减小旧物理块号引用计数，进行步骤(8)；(8)分配新的物理块号并写入数据块，向索引表加入指纹到物理块号(若缓存满则按照LRU策略进行替换)、逻辑块号到物理块号映射，将新物理块号的引用计数增加2。对于所有数据块写入重复上述步骤，最终完成写I/O请求的处理。

根据进行重删的阶段，已有的方法可以分为在线和离线两种。离线重删方法不能消除写入同一逻辑块的重复I/O，因而导致不必要的I/O写延迟。其次，对于SSD硬盘来说，重复的I/O还会导致硬盘寿命降低等问题。对于离线重删，由于重删逻辑会不可避免地占用一些计算、内存以及I/O带宽资源，因而会对系统中其它程序的运行带来影响。对于在线重删方法，由于指纹表的大小往往远大于系统内存，因而其性能瓶颈主要是指纹的索引。传统的主存储重删系统中往往简单地采用LRU或LFU等缓存替换策略来管理指纹缓存，主存储负载的时间局部性较低，这给有效分配内联缓存空间和实现良好的重删率带来了挑战。在云计算场景下，在虚拟机中运行的多个应用共享了底层物理存储，来自不同数据流的数据相互交叠，进一步降低了负载的时间局部性。当被用于指纹缓存时，维护影子缓存的内存开销很高，因而包括LIRS和ARC等面向较弱局部性条件下的缓存性能也较差。