[发明专利]高速缓存中的分配的选择性绕过

说明书

系统和方法涉及选择性地绕过高速缓存行在高速缓存中的分配。绕过预测表具备再用计数器以基于存储器中所述高速缓存行所属的存储器区域追踪高速缓存行的再用特征。竞争再用计数器提供依照在所述高速缓存中未命中所述竞争高速缓存行而在所述高速缓存中再用竞争高速缓存行的可能性的指示，且牺牲再用计数器提供将在所述竞争高速缓存行分配于所述高速缓存中的情况下驱逐的牺牲高速缓存行的再用可能性的指示。是否将所述竞争高速缓存行分配在所述高速缓存中或绕过所述竞争高速缓存行在所述高速缓存中的分配的决策是基于所述竞争再用计数器值及所述牺牲再用计数器值。

根据35 U.S.C.§119主张优先权

本专利申请要求保护2016年4月8日提交的标题为“高速缓存中的分配的选择性绕过(SELECTIVE BYPASSING OF ALLOCATION IN A CACHE)”的美国临时专利申请第62/320,384号的权益，所述美国临时专利申请待定，且让渡给本受让人并明确地以全文引用的方式并入本文中。

技术领域

所揭示的方面涉及处理系统。更具体地说，示范性方面涉及选择性地绕过高速缓存(例如处理系统的存储器层次中的末级高速缓存)中的分配。

背景技术

处理系统可包括一或多个处理器，其可作出用于存取存储在存储器(例如，使用动态随机存取存储器(DRAM)技术以双数据速率(DDR)实施方案实施的主存储器)中的数据的请求。处理器产生的存储器请求可显示时间局部性，这是指请求涉及最近请求的数据，且还相应地是指相同数据可在近期再次被请求。为利用时间局部性，可提供一或多个高速缓存以便存储确定具有将来使用的可能性的数据。高速缓存可设计成大小较小，以实现高速度(例如，相较于可为大约数百或数千个时钟循环的存储器存取速度，大约数十个时钟循环)。

如果所请求的数据存在于高速缓存中，那么可从产生高速缓存命中的高速缓存直接读取高速缓存命中结果和数据。另一方面，如果所请求的数据不存在于高速缓存中，那么可存取高速缓存未命中结果和例如其它高速缓存或最终存储器的备用存储位置以检索所请求的数据。由于高速缓存设计成较小，因此高速缓存中的有限存储空间可能被填满，这是指一些高速缓存行可能需要被驱逐(被称作牺牲高速缓存行)以容纳传入的高速缓存行(被称作竞争高速缓存行)。高速缓存替换策略为所属领域中已知，用于驱逐牺牲高速缓存行且用竞争高速缓存行将其替换。选择驱逐哪些高速缓存行的过程被称为牺牲选择。

末级高速缓存(例如L3高速缓存)为在用于处理器的主存储器及更高级高速缓存(例如L1及L2高速缓存)之前的备用存储位置。末级高速缓存的存取特征的研究揭露，插入末级高速缓存中(例如在替换牺牲高速缓存行之后)的多个高速缓存行在其本身被驱逐之前可能永远不会再用或再次被存取。因此，这些高速缓存行在其于末级高速缓存中的占有期间可能没有用处此外，未再用的这些高速缓存行可能移位牺牲行，所述牺牲行在未被驱逐的情况下可能更有用(即，可能再用)。常规的牺牲选择策略经设计成选择具有较低或最小的将来使用可能性的牺牲高速缓存行作为驱逐候选，但牺牲选择策略并不考虑移位牺牲高速缓存行的竞争高速缓存行的相对有用性或再用潜能。因此，可能存在更有用的高速缓存行由例如末级高速缓存中的不太有用的高速缓存行替换的情景，但常规的高速缓存管理策略并未预防这些情景。

发明内容

本发明的示范性方面涉及用于高速缓存管理的系统和方法。举例来说，所揭示的系统和方法涉及选择性地绕过高速缓存行在高速缓存中的分配。旁路预测表具备再用计数器以基于存储器中高速缓存行所属的存储器区域来追踪高速缓存行的再用特征。竞争再用计数器提供依照高速缓存中未命中竞争高速缓存行而再用所述高速缓存中的竞争高速缓存行的可能性的指示，且牺牲再用计数器提供将在所述竞争高速缓存行分配于高速缓存中的情况下驱逐的牺牲高速缓存行的再用可能性的指示。是否将竞争高速缓存行分配在高速缓存中或绕过竞争高速缓存行在高速缓存中的分配的决策是基于竞争再用计数器值及牺牲再用计数器值。