[发明专利]开销感知高速缓存替换

说明书

系统和方法涉及开销感知高速缓存管理策略。在开销感知最近最少使用LRU替换策略中，在选择用于替换的高速缓存行时考虑时间局部性以及未命中开销，其中所述未命中开销是基于相关操作类型，包含指令高速缓存读取、数据高速缓存读取、数据高速缓存写入、预取，以及回写。在基于开销感知动态再参考间隔预测DRRIP的高速缓存管理策略中，与有关高速缓存行的操作类型相关联的未命中开销被考虑用于分配再参考间隔预测值RRPV，以供依照高速缓存未命中插入所述高速缓存行，且用于在命中高速缓存行时更新所述RRPV。所述操作类型包括指令高速缓存存取、数据高速缓存存取、预取，以及回写。这些策略改进牺牲选择，同时将高速缓存辗转现象和扫描降至最低。

根据35 U.S.C.§119主张优先权

本专利申请要求2016年4月8日提交的标题为“开销感知高速缓存替换(COST-AWARE CACHE REPLACEMENT)”的临时专利申请第62/320,389号的权益，所述临时专利申请待定且让渡给其受让人，且特此明确地以全文引用的方式并入本文中。

技术领域

所揭示的方面涉及处理系统中的高速缓存存储器。更具体地说，示范性方面涉及开销感知高速缓存替换策略。

背景技术

处理系统可包括一或多个处理器，其可发出用于存取存储于存储器(例如以使用动态随机存取存储器(DRAM)技术的双数据速率(DDR)实施方案实施的主存储器或硬盘)中的数据的请求。处理器产生的存储器请求可显示时间局部性，这是指请求涉及最近请求的数据，且还相应地是指相同数据可在近期再次被请求。要利用时间局部性，可提供一或多个高速缓存以存储经确定具有将来使用的可能性的数据。高速缓存可被设计成大小较小，以实现高速度(例如大约数十个时钟循环，相比于大约可为数百或数千个时钟循环的存储器存取速度)。

如果所请求的数据存在于高速缓存中，那么可从产生高速缓存命中的高速缓存直接读取高速缓存命中结果和数据。另一方面，如果所请求的数据不存在于高速缓存中，那么可存取高速缓存未命中结果和例如其它高速缓冲存储或最终存储器的备用存储位置以检索所请求的数据。由于高速缓存被设计为较小，因此高速缓存中的有限存储空间可能被填满，这意味着一些高速缓存行可能需要被逐出(被称作牺牲高速缓存行)以容纳传入的高速缓存行(被称作竞争高速缓存行)。高速缓存替换策略为此项技术中已知，用于逐出牺牲高速缓存行且用竞争高速缓存行将其替换。选择逐出哪些高速缓存行的过程被称为牺牲选择。

例如最近最少使用(LRU)替换策略的一些高速缓存替换策略依赖于所请求数据的时间局部性，且可逐出最长时间短未存取的高速缓存行。此类高速缓存替换策略的目标是将高速缓存命中增至最大，或换句话说，将高速缓存未命中降至最低。虽然LRU可成为其请求具有高时间局部性的应用的有效替换策略，但是如果将来存取(也被称为再参考或再使用)高速缓存中的存储数据未足够快地发生，那么基于LRU的替换策略的性能可能劣化。

为进行解释，一些应用或工作负载可能产生对大于高速缓存的容量的多个高速缓存行的请求集。在这类情况下，可将高速缓存不断更新到具有应用所需的高速缓存行的集合的子集的容量，而将应用的其余高速缓存行逐出。这产生被称为“高速缓存辗转现象”的情形，其中对应用的高速缓存行的将来请求可在高速缓存行已基于LRU替换策略被逐出之后由高速缓存接收。因此，用于逐出高速缓存行的请求会产生未命中，而如果高速缓存行还未被逐出，那么对于所述请求将出现高速缓存命中。这种方式的高速缓存辗转现象可能导致较差性能，这是因为应用的高速缓存请求可能通过这种方式产生频繁的未命中。

在另一实例中，一些包含不具有时间局部性的间歇数据请求的工作负载也被称为扫描。在这类情况下，再使用存储于高速缓存中的数据可能在时间上相隔较远，这意味着基于LRU的替换策略可能逐出参考看上去反复的一些数据，但可能无法快到足以避免逐出。因此，即使在扫描的情况下，高速缓存未命中也可能增加且性能可能受损。