[发明专利]无序执行存储器请求

说明书

背景

为了减少与访问储存在主存储器中的数据相关联的延迟，处理器(诸如CPU或GPU)通常具有如图1中的示例存储器层次结构100中所示的一个或更多个高速缓存。通常有两个等级的片上高速缓存L1 102和L2 104，它们通常用SRAM(静态随机存取存储器)来实现。高速缓存小于主存储器108，该主存储器可以以DRAM(动态随机存取存储器)来实现，但涉及访问高速缓存的延迟比主存储器短得多，并且在层次结构内，等级越低(即在处理链和物理距离两方面更靠近处理器)，延迟越短。当延迟与高速缓存的大小有关(至少近似有关)时，较低等级的高速缓存(例如L1)小于较高等级的高速缓存(例如L2)。

当处理器访问数据项时，该数据项从该数据项在其中可获得的层次结构中的最低等级中被访问。例如，查找将在L1高速缓存102中执行，并且如果数据在L1高速缓存中，则这被称为高速缓存命中，并且该数据可被加载到寄存器110之一中。然而，如果数据不在L1高速缓存(最低等级的高速缓存)中，则这是高速缓存缺失，并且层次结构中的接下来的等级被依次检查，直到找到数据为止(例如，在L1高速缓存缺失的情况下检查L2高速缓存104)。在高速缓存缺失的情况下，数据被带入到高速缓存(例如，L1高速缓存102)中，并且如果高速缓存已经是满的，则替换算法可用于决定哪些现有数据将按可储存新数据的顺序来逐出(即移除)。

如果数据项不在片上高速缓存的任何一个中(例如，不在图1中所示的层次结构中的L1高速缓存102或L2高速缓存104中)，则存储器请求被发布到外部总线上(其也可被称为互连结构(fabric)或存储器结构)，使得数据项可从层次结构中的下一等级(例如，主存储器108)中获得。

以下描述的实施方式仅通过示例的方式来提供，并且不限于解决已知的片上高速缓存的缺点中的任何一个缺点或全部缺点的实现方式。

概述

该概述被提供用于以简化的形式介绍概念的选择，其在以下的详细描述中进一步进行描述。该概述不旨在标识出要求保护的主题的关键特征或必要特征，亦不旨在用于限定要求保护的主题的范围。

描述了片上高速缓存，该片上高速缓存接收存储器请求，并且在高速缓存缺失的情况下，该高速缓存对存储器层次结构中的较低等级(例如，对较低等级的高速缓存或外部存储器)生成存储器请求。响应于生成的存储器请求而返回到片上高速缓存的数据可被无序地接收。片上高速缓存中的指令调度器储存所接收的挂起的(pending)存储器请求，并通过选择用于执行的挂起的存储器请求的序列来影响重新排序，使得与相同的缓存行有关的挂起的请求以经时顺序(age order)来执行，并且与不同高速缓存行有关的挂起的请求以取决于与不同高速缓存行有关的数据返回时的顺序来执行。所接收的存储器请求可从另一较低等级的片上高速缓存或从寄存器接收。

第一方面提供了一种片上高速缓存，其是在具有片上高速缓存的芯片上形成的处理器的存储器层次结构的一部分，该片上高速缓存包括指令调度器，其中该指令调度器包括：第一输入端，其被设置为接收在处理器中生成的存储器请求；高速缓存管理单元，其被设置为，响应于确定所接收的存储器请求涉及未被储存在片上高速缓存中的数据，而在存储器层次结构的另一等级上生成存储器请求；第二输入端，其被设置为，响应于在高速缓存管理单元中生成的存储器请求，接收从存储器层次结构中的另一等级中返回的数据；以及重新排序缓冲区模块，其被设置为控制所接收的存储器请求在片上高速缓存内被执行的顺序，并且包括被设置为储存挂起的存储器请求的数据结构，以及其中，数据以与相应的存储器请求经由第一输入端被接收的顺序不同的顺序经由第二输入端被接收。

第二方面提供了处理器的存储器层次结构，其包括：在具有处理器的芯片上形成的第一片上高速缓存；在具有如本文中所描述的处理器的芯片上形成的第二片上高速缓存；以及在芯片外部的存储器。

第三方面提供了操作片上高速缓存的方法，该片上高速缓存是在具有片上高速缓存的芯片上形成的处理器的存储器层次结构的一部分，该方法包括：接收在处理器中生成的存储器请求并将其储存在数据结构中；确定存储器请求是否涉及未被储存在片上高速缓存中的数据；响应于确定存储器请求涉及未被储存在片上高速缓存中的数据，在存储器层次结构的另一等级上生成存储器请求；响应于在片上高速缓存中生成的存储器请求，以与在处理器中生成的对应的存取器请求被片上高速缓存接收的顺序不同的顺序接收从存储器层次结构中的另一等级中返回的数据；以及控制所接收的存储器请求在片上高速缓存内被执行的顺序。