[发明专利]高带宽存储器系统以及逻辑管芯

说明书

本发明公开一种高带宽存储器系统以及一种逻辑管芯。所述高带宽存储器系统包括：主机，其包括中央处理单元、图形处理单元、专用集成电路或现场可编程门阵列中的至少一个；以及包括一个配置在另一个上方的多个高带宽存储器模块及配置在多个高带宽存储器模块下方的逻辑管芯的高带宽存储器堆叠。逻辑管芯配置成从主机卸载处理操作。本发明公开一种在高带宽存储器的逻辑管芯中提供特定计算能力的系统架构，以及支持硬件及软件架构、逻辑管芯微架构以及存储器接口信令选项。提供使用高带宽存储器堆叠下方的逻辑管芯的存储器内处理能力的各种新方法。另外，本发明公开各种新的信令协议以使用高带宽存储器接口。还描述逻辑管芯微架构及支持系统框架。

技术领域

本发明涉及半导体电路，且更确切地说，涉及包括用于卸载传统上由主机执行的复杂逻辑操作的逻辑管芯的智能高带宽存储器设备。

背景技术

因特网已引起将数据提供到数百万台计算机及移动装置的计算机服务器的数目的巨大的扩展。人工智能(Artificial Intelligence,AI)及其它深度学习应用程序变得更常见且目前需求量高。当今的服务器计算机环境朝向存储装置内和存储器内计算移动，使得某一计算更接近数据实际上驻留之处执行。这增加性能且减小能量消耗。

如深度神经网络等新兴应用需要大量的计算能力和记忆能力来训练不同的数据集且以高精度学习。此外，随着如高性能计算机(high performance computer,HPC)、图形算法等的应用变得数据和计算密集，能量效率和低时延变得关键。

近年来，高带宽存储器(High Bandwidth Memory,HBM)和高带宽存储器2(HBM2)已用于获得更高带宽同时通过将动态随机存储器(Dynamic Random Access Memory,DRAM)管芯一个堆叠在另一个顶上来在更小外观尺寸中使用更小功率，且提供与主机的异步通信接口。通信的异步性质增加性能而且使得更加难以处理复杂逻辑操作。当逻辑操作复杂时，存在更小确定性。换句话说，完成特定复杂逻辑操作将花费的时间较不确定。

发明内容

公开一种高带宽存储器(HBM+)系统，包括：主机，其包括中央处理单元(centralprocessing unit,CPU)、图形处理单元(graphics processing unit,GPU)、专用集成电路(application specific integrated circuit,ASIC)或现场可编程门阵列(fieldprogrammable gate array,FPGA)中的至少一个；以及HBM+堆叠，其包括一个配置在另一个顶上的多个高带宽存储器(high bandwidth memory,HBM)模块及配置在所述多个HBM模块下方的逻辑管芯。逻辑管芯被配置以从主机卸载处理操作。

在一些实施例中，逻辑管芯包括包括接口PHY及主机队列管理器的主机管理器，其中主机管理器被配置以经由接口PHY与主机接口连接且被配置以使从主机接收到的通信排队。逻辑管芯可另外包括存储器控制器，所述存储器控制器包括预取引擎及高速缓存控制器，其中存储器控制器被配置以经由预取引擎及高速缓存控制器与存储器接口连接。逻辑管芯可另外包括高带宽存储器(HBM)控制器，所述高带宽存储器控制器包括被配置以与HBM模块的堆叠接口连接的存储器控制器。逻辑管芯可另外包括被配置以从主机卸载处理操作的卸载处理逻辑部分。

附图说明

本发明原理的先前及额外特征及优点将从参考附图进行的以下详细描述变得更显而易见，在附图中：

图1是HBM+单元的实例俯视框图。

图2示出沿着线2-2获取的图1中HBM+单元的侧视框图。

图3示出用于从主机卸载计算工作的两种类型的架构的框架框图。

图4示出包括主机组件及HBM+堆叠的系统的实例框图，其中根据一些实施例提供主要硬件实施方案。