[发明专利]基于子组的自适应高速缓冲存储器块替换策略

说明书

技术领域

本专利涉及一种应用于通用微处理器基于子组的自适应高速缓冲存储器块替换策略，尤其涉及最后一级缓冲存储器块替换策略。 

技术背景

缓冲存储器块替换策略在缓存设计中起着至关重要的作用。最近最少使用替换策略(LRU)在过去的十几年中广泛应用于微处理器缓存设计。近些年，一些基于最近最少使用替换策略的优化方法及全新的设计方法层出不穷。 

缓存替换策略的主要目标是选择保留尽可能多的将来会再次访问的缓存块。传统的最近最少使用策略根据访问局部性原则假定新换入缓存块很可能不久就会再次被访问到，故将其直接放置在最经常访问的位置，保证它在缓存中停留更长的时间。该策略在应用程序的访问工作集小于可用缓存空间，或者访问具有很高的空间局部性时性能非常出众。 

但是，当应用程序的工作集大于可用缓存空间时(如访存密集型应用)，采用LRU策略大多数缓存块会从缓存的最经常访问位置逐渐替换到最少访问位置，最终被丢弃(换出)，未带来新的命中却占用了缓存空间。同时一些经常使用到的缓存块会被很少使用的块或其它常使用块替换出缓存，即出现缓存抖动问题。面对这种状况，已有研究表明可以通过保留大工作集中的少部分缓存块来提高缓存性能，这部分缓存块会在将来带来一些缓存命中。基于子组的缓存替换策略就是该思想的一种全新的尝试。 

发明内容

一种应用于通用微处理器基于子组的自适应高速缓冲存储器块替换策略，其特征在于，包括以下步骤： 

步骤100，判定访存是否命中； 

步骤110，访存命中真，根据更新策略更新子组堆栈； 

步骤120，访存命中假，定位活跃子组，根据替换策略选择换出块； 

步骤130，根据插入策略插入缓存块并更新堆栈位； 

步骤140，根据阈值选择机制确定当前阈值； 

步骤150，判定是否变更活跃子组； 

步骤160，变更为真，将相邻组标记为活跃子组。 

策略中缓存结构为：将每个缓存组平均划分为N个子组，每个子组内独立维护一个完整堆栈结构。 

步骤110中，更新策略为将命中块移动到子组中最常访问堆栈位。 

步骤120中，所述的定位活跃子组指，根据当前缓存块活跃子组指针，定位当前块活跃子组；步骤120中所述替换策略指，找到最近最少访问堆栈位所对应的缓存块。 

步骤120中，所述活跃子组，指每个缓存组N个子组中只有一个为活跃子组，用于选择换出块和接收新插入块，其它子组为非活跃组。所述活跃子组指针，指在缓存结构中每个缓存组设置一个活跃子组寄存器，用于记录当前组活跃子组位置。 

步骤130中，所述插入策略指，用插入块替换步骤120中选择的换出块，并将其更新到子组中最近最少访问堆栈位。 

步骤140中，所述阈值选择机制指，在缓存结构中，为每个缓存组设定一个计数器，记录当前组缓存失效数，当失效数大于当前给定阈值，该缓存组中活跃子组轮转到相邻子组并将本组缓存失效计数清零。所述阈值选择机制，指选定n个给定阈值，从所有缓存组中选出n*m个采样组，每m个采样组设定一个给定阈值。并设定n个采样组缓存失效计数器，用于记录采样组中使用相同阈值的缓存组失效次数。当需要阈值选择机制选定当前合适阈值时，如该缓存块为采样组，直接给出对应阈值，如为非采样组，比较n个采样组缓存失效计数器，给出失效数最小的的采样组对应的给定阈值。 

步骤140中，所述n个计数器为饱和计数器，当任何一个溢出时同时清零。 

步骤150中，用该缓存组缓存失效计数与步骤140给出的当前阈值比较，当前者大 于后者，变更活跃子组。否则什么也不做。 

步骤160中，所述将相邻组标记为活跃子组，指将活跃子组指针指向原活跃子组的相邻子组，并将该缓存组失效计数清零。 

缓存替换策略在缓缓冲存储器设计中起着至关重要的作用。最近最少使用替换策略(LRU)在过去的十几年中广泛应用于微处理器缓存设计。但是，伴随着应用需求的日益增加和多核平台已成为微处理设计主流的趋势，传统LRU策略在改善缓存性能上略显不足。