[发明专利]用于高速缓冲存储器替换的数据处理系统和方法

说明书

背景技术

当今的数据处理系统或处理器是基于特定存储器分层分层结构的，包括具有不同速度和尺寸的存储器。然而，  由于快速存储器较昂贵，所以将存储器分层分层结构组织为多个等级，其中每个等级比相邻的下一等级的每个字节更小、更快速、更昂贵。通常，一个等级中的所有数据也可在下一等级中找到，并且可在该下一等级的下一等级中找到所有该下一等级的数据，直到达到分层分层结构的底层。具有多处理器环境的多任务数据处理系统通常包括同时在各个处理器上运行的多个应用程序。

高速缓冲存储器是存储器分层结构的第一等级，即，它是最靠近CPU或处理单元的存储器。如果CPU请求可在高速缓冲存储器中找到的数据项，则发生所谓的高速缓冲存储器命中。然而，如果不能够在高速缓冲存储器中找到CPU所请求的数据项，则发生所谓的高速缓冲存储器未命中。校正高速缓冲存储器未命中并获取所请求的数据项所需的时间取决于存储器的等待时间和带宽。等待时间对应于搜索块的第一个字的时间，带宽与搜索块的剩余部分的时间有关，高速缓冲存储器的基本概念是获取这些数据项，这将需要在实际处理之前在即将到来的处理循环周期进行数据项的获取。

一旦发生高速缓冲存储器未命中，则高速缓冲存储器控制器必须选择当前存储在高速缓冲存储器中的数据项或块，用要获取的希望的数据项或数据块来替换该数据项或块。可随机地、根据最近使用LRU或根据先入先出FIFO来执行实际的高速缓冲存储器替换。通过均匀分配来执行随机选择，从而随机地选择块。为了减少在下一到来的周期期间抛掉所需的信息的可能性，在最近很少使用的高速缓冲存储器替换方案中记录了对块的访问。因此，根据过去的访问来计算预测，从而用最长时间段未用的块来替换这些块。然而，由于LRU高速缓冲存储器替换策略计算量大，所以根据先入先出替换策略，确定最早的块用于替换而不是LRU。

先入先出FIFO替换策略还可称为循环选择。这里，仅在未命中而不是每次命中时更新高速缓冲存储器。通过更新数据、地址标记等来执行对块的替换。将高速缓冲存储器中由高速缓冲存储器替换策略所选择要替换的数据块称为牺牲块。可将这种牺牲块移动到牺牲缓冲器。将牺牲块写入存储器分层结构中的相邻等级中。

一般而言，平均存储器访问时间与命中时间加上未命中比率乘以未命中判罚之积的和相对应，一种减少未命中判罚的技术是采用多级高速缓冲存储器。这里，忽略实际的CPU而关注于高速缓冲存储器和主存储器之间接口。通过在原始的高速缓冲存储器和主存储器之间添加另一级的高速缓冲存储器，可将第一级的高速缓冲存储器设计为足够小以与快速CPU的时钟周期相匹配，而第二级的高速缓冲存储器可足够大以捕获要由CPU在到来的时钟周期期间使用的充足的数据。

另一减少未命中判罚的技术是采用牺牲高速缓冲存储器。这里，从例如L1高速缓冲存储器的高速缓冲存储器中丢弃的数据项(牺牲块)可存储在牺牲高速缓冲存储器中。在已经从主存储器或其它高速缓冲存储器等级中取回了从高速缓冲存储器中丢弃的数据(牺牲块)时，可以以低等待时间来重新使用该数据项或数据块。因此，这些被丢弃的数据项或数据块被存储在牺牲高速缓冲存储器中。换言之，仅将由于高速缓冲存储器未命中和随后的高速缓冲存储器替换而丢弃的数据项存储在牺牲高速缓冲存储器中。

这种牺牲高速缓冲存储器通常是较小的完全相关的高速缓冲存储器。该高速缓冲存储器设计用于存储由于冲突缺失或容量缺失而从CPU或L1高速缓冲存储器中丢弃的块。典型地将该高速缓冲存储器设置在主高速缓冲存储器及其替换路径之间。仅将由于高速缓冲存储器未命中而从L1高速缓冲存储器中丢弃的块存储在其中。将其用于减少高速缓冲存储器未命中判罚。

另一高速缓冲存储器替换策略是最不经常使用的技术；其中，从高速缓冲存储器中丢弃最不经常使用的块，以为新预取数据创造空间。

关于高速缓冲存储器替换技术，有两个重要问题，即应该将哪个数据块取回到高速缓冲存储器中和应该从高速缓冲存储器中丢弃哪个数据块，使得新取回的数据块可存储在高速缓冲存储器中而不是丢弃的数据块。

发明内容

本发明的目的是提供一种数据处理系统，包括具有改进的高速缓冲存储器替换能力的多个处理单元和高速缓冲存储器，还提供了一种高速缓冲存储器替换方法。

由根据权利要求1所述的数据处理系统以及根据权利要求5所述的高速缓冲存储器替换方法来实现该目的。