[发明专利]一种改进的高速缓存伪最近最少使用数据替换方法

说明书

本发明涉及多路组相连高速缓存架构的伪最近最少使用替换方法的改进。利用额外的数量较少的寄存器数目以及标志位数目来改善高速缓存的伪最近最少使用替换方法，使之更加逼近真实最近最少使用替换方法。随着路数的增加，对于接近根节点的伪最近最少使用控制树的节点，可以适当放松对其辅助移位寄存器记录值的要求来在选择替换数据时进行猜测选择。

技术领域

本发明涉及处理器高速缓存替换部件以及未命中时的替换方法。并特别地涉及N路组相连(N≥4)架构以及采用伪最近最少使用(LRU)替换策略的高速缓存数据替换部件和替换方法。

背景技术

现代处理器体系结构通常将高速缓存(cache)作为内存数据的备份，处理器进行数据读取时，通常先在读取速度更快的高速缓存中进行读取，以缩短数据获取的周期，从而加快处理器运行速度。作为内存数据的备份场所，高速缓存和内存之间的映射通常可以分为全相联映射，直接相联映射和组相联映射。相较于全相连映射和直接相联映射，组相连映射在大多数应用场合尤其多处理器架构中可以提供更加好的性能，因此一般被用作现代处理器高速缓存和内存之间的映射方式。据一个组(set)中所含有路(way)的数量N的不同，可以将高速缓存称作N路组联映射高速缓存，简称N路组相联高速缓存。通常而言，N是2的k次方(k≥1，且k是整数)。例如，N等于2，4，8，16等等。

当处理器访问高速缓存时，如果发生数据未命中，此时如果高速缓存还拥有未被使用的可使用单元，则将新数据从内存中取出放入高速缓存；而此时如果高速缓存内的可使用单元都被占用，则必须选择一条数据并将其从高速缓存中拿出，从而释放存储单元来存储从内存中拿出的未命中数据。对于后一种情况，高速缓存替换部件需要按照一定方式来决定拿出哪条数据，也就是高速缓存的数据替换方法。

对于N路组相连高速缓存来讲，最近最少使用替换方法由于其遵循时间局部性原则而产生较好的效果，是最为常用的替换方法。最近最少使用替换方法需要保存数据的先后访问次序从而找出最近最少使用的数据进行踢出。在N＝2时，因为每个组中仅有两路数据，可以很简单的用1位来标识最近使用的路从而实现最近最少使用替换。然而当N＞2时，要保持数据的访问先后顺序栈，对于数字逻辑硬件来说开销就变得格外大，即要完成操作，又要存储信息。通常的做法是，采用可以近似最近最少使用替换方法的伪最近最少使用替换方式来达到目的。其通常而言可以是一个树型数据结构的控制单元。对于N路组相联高速缓存，通常额外含有N-1个控制位即N-1个寄存器来进行伪最近最少使用替换方法实现。例如图1展示了4路组相联一个组内4路的树型管理结构。图1中，树型结构的非叶节点即为控制位，一共有3个控制位。“X”代表每个控制位的值，可以是0，也可以是1，不能是其它值。一般而言，它是一个1比特的寄存器。a到c是每个控制位的别名，如a代表这个树型结构的根节点，b代表a的左子节点，以此类推。4个叶子节点分别代表该组内的第1到第4路，在图中分别为way1到way4。

某一时刻(这一时刻树型结构中每个节点的“X”并不会对分析造成影响)某4路组相连某一组的树型结构如图1所示。如果下一时刻需要访问way3(第3路)，从根节点分析，由于way3在根节点的右子树，则a的“X”置位1，分析节点从根节点转到其右子节点c，又由于way3在c的左子树，则c所在节点的“X”置位0。其它节点的更新也是一样的，如果在分析节点的左子树，则将分析节点的值置位“0”，如果在分析节点的右侧，则将分析节点的值置位“1”。在某一组的所有路都存储数据后，新的数据到来寻找替换的路时，需要按照与访问相反的顺序进行。在访问完way3后，如果此时要选择一路进行替换，则先将分析节点置位根节点a，a为“1”，那么就进入a的左子树进行替换选择，分析节点置位a的左子节点b，此时再根据b的值进行替换，如果b的值为“1”，则替换way1，如果b的值为0，则替换way2。