[发明专利]在处理器上堆叠的高带宽存储器

说明书

本公开的实施例涉及在处理器上堆叠的高带宽存储器。公开了用于通过在处理器裸片上堆叠大容量存储器来为处理系统提供一级存储器的系统和方法。在一个实施例中，一个或更多个存储器裸片堆叠在处理器裸片上。处理器裸片包括多个处理块，其中每个块包括处理单元、映射器和块网络。每个存储器裸片包括多个存储器块。处理块耦合到处理块上方或下方的每个存储器块。竖直对齐的存储器块包括处理块的本地存储器区块。与现有存储器相比，访问本地存储器区块的存储器带宽(字节)与浮点运算(B:F)的比率可以提高50倍。此外，传输每个位所消耗的能量可以减少10倍。

背景技术

当前的高性能计算(HPC)和图形处理能够利用比当前能提供的给定现代系统存储器实现更多的存储器带宽。例如，许多HPC应用程序的字节到浮点运算(B:F)比率介于8:1和1:1之间。因此，HPC应用程序需要从主存储器中获取1到8个字节来执行每个浮点运算。在另一个示例中，高性能共轭梯度(HPCG)基准具有大于4的B:F比率。具有B:F比率为1:10的现代图形处理单元(GPU)对此类应用程序造成了显著的存储器限制。需要一种在处理环境中改进的高性能存储器实现的解决方案，以及在这种环境中以本地化方式实现存储器访问以减少存储器访问的能量和延迟的方法。

发明内容

本公开的实施例涉及堆叠在处理器上的高带宽存储器。公开了用于通过在处理器裸片上堆叠大容量存储器来为处理系统提供一级存储器的系统和方法。在一个实施例中，一个或更多个存储器裸片堆叠在处理器裸片上。处理器裸片包括多个处理块，其中每个块包括处理单元、映射器和块网络。每个存储器裸片包括多个存储器块。处理块耦合到处理块上方或下方的每个存储器块。竖直对齐的存储器块包括用于处理块的本地存储器区块。在一个实施例中，N个处理块耦合到M个存储器块。与传统存储器相比，访问本地存储器块的存储器带宽(字节/秒)与浮点运算/秒(B:F)的比率可以提高50倍。此外，传输每个位所消耗的能量可以减少10倍。

在一个实施例中，一种设备包括裸片堆栈，所述裸片堆栈包括处理器裸片和至少一个存储器裸片，所述处理器裸片包括多个处理块，每个存储器裸片包括多个存储器块，其中裸片在第一维度中对齐并在第二维度中堆叠。该设备还包括在每个处理块和在至少一个存储器裸片的每个存储器裸片中的对应存储器块之间的导电路径，其中对应存储器块在第二维度中堆叠在处理块上。在一个实施例中，处理器是图形处理单元(GPU)内的流式多处理器。在一个实施例中，处理器裸片相对于存储器裸片“倒置”。在一个实施例中，中介层可以包括在包括处理器裸片和存储器裸片的设备内。

附图说明

下面参照附图详细描述本公开的用于在处理器上堆叠的高带宽存储器的系统和方法，其中：

图1A是根据实施例的裸片堆栈的示意图。

图1B是根据实施例的具有存储器块的存储器裸片的示意图。

图1C是根据实施例的具有处理块的处理器裸片的示意图。

图2A示出了根据实施例的示例性块堆栈。

图2B示出了根据实施例的示例性一级存储器系统。

图2C示出了根据实施例的包括分层网络和裸片堆栈的示例性系统。

图2D示出了根据实施例的网络分层和对应的通信机制。

图2E示出了根据实施例的3D矩阵的示例性映射。

图3A示出了根据实施例的用于访问在处理器上堆叠的高带宽存储器的方法的流程图。

图3B示出了根据实施例的用于通过分层网络访问堆叠在处理器上的存储器的方法的流程图。

图3C示出了适用于实现本公开的一些实施例的示例并行处理单元。

图4A示出了适用于实现本公开的一些实施例的图3C的并行处理单元内的示例通用处理集群。