[发明专利]粗粒度的末级高速缓存旁路方法

说明书

技术领域

本发明涉及处理器中末级高速缓存的管理策略，主要通过使用一种粗粒度的旁路策略Global Bypass来提高系统的性能和能量有效性。

背景技术

现在功耗已经成为单核和多核处理器扩展的关键限制因素，而末级高速缓存已经被证明是能量有效的。因此在未来的处理器中会有更大的末级告诉缓存。而末级高速缓存的管理策略对于性能至关重要。在末级高速缓存中，由于大量的缓存块的重用距离大于缓存的容量，因此常用的LRU和其近似算法的性能不佳。之前有很多工作试图捕获这些远距离重用块的访问，它们主要可以分为四种：替换算法、死亡块预测、旁路以及自适应算法。

替换算法：DIP通过改变缓存块的插入策略，使得已经在缓存中的远距离重用块在缓存中存活更长的时间。使得这些块在被排出前可以得到命中。RRIP进一步通过区分在缓存中被访问过的块和没被访问过的块，使得前者在缓存中停留的时间更长。Pseudo-LIFO通过优先排出栈顶端的块，使得栈低端的块被保存的时间更长。

死亡块预测：如果一个块在被高速缓存排出之前没有被使用，则称这个块是死亡块。死亡块预测技术通过预测死亡块并优先的旁路或者排出它们来提高性能。根据预测的方法，死亡块预测技术可以分为基于踪迹的、基于时间的和基于计数器的。Cache burst方法通过对合并连续的访问来提高预测的准确率。基于采样的死亡块预测方法通过采样一部分访问来训练预测器，从而减少预测器中的冲突，进而提高预测准确率。

旁路：之前有很多工作通过预测并旁路那些在被排出之前没被使用的块来提高性能。根据预测的方法可以分为基于PC的和基于地址的。LRF通过结合基于PC和基于地址的预测器来提高性能。最近有人提出了一个针对独占末级高速缓存的旁路和插入方法。DSB通过在失效时记录进入块和排出块的对，然后比较它们中谁先被访问来决定旁路的使用概率。NUcache通过把缓存中单独划分出一块区域来保存远距离重用块。只有由选定的PC带入的块才能进入这个区域，而其他的块被旁路。

自适应算法：该类方法通过在两个或多个策略中动态选择当前性能最好的来提升性能。SBAR和Adaptive Caches提出使用额外的标签组来同时实现多个替换算法。DIP提出给每个策略分配一组专用的缓存组来比较它们的性能。

以上这些方法或者性能提升有限，或者需要大量的存储开销和对硬件的改动。有些甚至需要PC等很难在末级高速缓存中得到的信息。本发明旨在提出一种在需要很少的硬件开销和对原有设计改动很小的情况下可以达到高性能的末级高速缓存管理策略。

发明内容

本发明要解决的技术问题是：提出一种可以在较小的硬件代价下显著提高现有末级高速缓存的性能的粗粒度的末级高速缓存旁路方法。

本发明所采用的技术方案为：一种粗粒度的末级高速缓存旁路方法，并把这种方法叫做“Global Bypass”，该方法是把旁路视为一种和替换等同的策略选择，而不是补充。该方法在两种模式间进行切换：旁路模式和替换模式。在旁路模式中，所有的失效都被旁路，而不去评估每个个体访问的特征。在替换模式中，Global Bypass使用末级高速缓存的基本替换算法进行替换，该基本替换算法可以是任何已有的替换算法。由于不需要对个体的访问特征进行评估，所以Global Bypass的实现代价很小。

对于Global Bypass来说最重要的是如何在两种模式之间切换。由于它是一种粗粒度策略，因此需要精确的方法来指导模式切换。因此进一步提出了通过学习最优旁路算法的行为来指导模式切换。这种方法称之为“Optimal Bypass Assertions”。设置了三条Optimal Bypass Assertions：在一次失效中，如果进入块的重用距离小于排出块的重用距离，那么可以判定最优旁路算法不使用旁路(Assertion 1)；如果进入块的重用距离大于排出块的重用距离，那么可以判定最优旁路算法使用旁路(Assertion 2)；如果进入块和排出块的重用距离都为无穷大(它们的重用距离相等)，那么可以判定最优旁路算法使用旁路(Assertion 3)。