[发明专利]高速缓存替换系统和方法

说明书

提供了一种用于管理存储缓存条目的高速缓存的装置，所述装置包括：处理器，用于：接收所述缓存条目的快照；基于所述缓存条目中的每一个的所述快照针对所述相应缓存条目计算以下值：指示每单位时间所述相应缓存条目的平均引用次数的使用分数和指示所述相应缓存条目的所述有效寿命的时段分数；以及根据所述计算出的所述使用分数和所述时段分数的值指定需要进行替换的所述缓存条目的子集。

背景技术

本发明在其一些例中涉及高速缓存管理，并且更具体地但不仅仅涉及高速缓存替换策略。

硬件和软件应用程序可以使用高速缓存来提高性能。页面缓存是对由操作系统保存的磁盘页面进行的高速缓存，等等，存储在未使用的主存储器中。在另一个示例中，网络缓存是为了提高性能而对网络文档进行的临时存储。在云计算和云网络中，开放式虚拟交换机(open virtual switch，OVS)使用缓存机制在操作系统内核级(数据路径)处理入局业务的速度比在用户级快。在大规模部署计算节点的云网络中，本地缓存效率低可能会导致网络瓶颈。因此，所实施的缓存策略变得至关重要。

每个高速缓存的容量有限，因此在超出高速缓存容量时需要替换条目，否则高速缓存所提供的处理性能会降低。

缓存策略的性能通过未命中率来衡量，未命中率被定义为高速缓存中未找到引用条目的次数。高速缓存替换策略的目标是通过最大限度地减少未命中率来提高性能。

现有高速缓存替换策略，例如最近最少使用(least recently used，LRU)，基于实现的简单性原则。随着计算能力逐渐增强并且很容易获得，可以应用较复杂的算法，这样性能下降的幅度较小。

以下是最常见的高速缓存替换策略方法列表：

*Bélády算法基于从高速缓存中淘汰将在最远未来所引用的条目的原则。这种实施方式在理论上是正确的，但实际上并不可行，因为需要对入局输入进行理想预测。

*先进先出(First In First Out，FIFO)和后进先出(Last In First Out，LIFO)方法易于实施。然而，与其它现有高速缓存替换策略相比，这两种方法的性能相对较差。

*其它现有的更高级和更复杂的示例性高速缓存替换策略包括：最近最少使用(Least-Recently Used，LRU)、最近最多使用(Most-Recently Used，MRU)、伪LRU(Pseudo-LRU，PLRU)、最短最近使用间隔(Low Inter-reference Recency Set，LIRS)、随机替换(Random Replacement，RR)、分段LRU(Segmented LRU，SLRU)、最少使用(Least-FrequentlyUsed，LFU)、具有动态时效的LFU(LFU with Dynamic Aging，LFUDA)、不常使用(NotFrequently Used，NFU)、适应性替换高速缓存(Adaptive Replacement Cache，ARC)和自适应时钟替换(Clock with Adaptive Replacement，CAR)。

应当注意的是，LRU使用最多，但是相比于更高级和更复杂的算法，该方法的性能较差。例如，OVS使用LRU进行缓存。

发明内容

本发明的目的是提供一种用于管理存储缓存条目的高速缓存的装置、方法、计算机程序产品和系统。

前述和其它目的通过独立权利要求的特征来实现。其它实施方式在从属权利要求、描述内容和附图中显而易见。

根据第一方面，一种用于管理存储缓存条目的高速缓存的装置包括：处理器，用于：接收所述缓存条目的快照；基于所述缓存条目中的每一个的所述快照针对所述相应缓存条目计算以下值：指示每单位时间所述相应缓存条目的平均引用次数的使用分数和指示所述相应缓存条目的所述有效寿命的时段分数；以及根据所述计算出的所述使用分数和所述时段分数的值来指定需要进行替换的所述缓存条目的子集。