[发明专利]高带宽存储系统

说明书

一种高带宽存储(HBM)系统包括高带宽存储装置及逻辑电路。所述逻辑电路包括耦合到主机装置的第一接口及耦合到所述高带宽存储装置的第二接口。所述逻辑电路通过所述第一接口从所述主机装置接收第一命令并将所接收的第一命令转换成第一存储器内处理(PIM)命令，所述第一存储器内处理命令通过所述第二接口发送到所述高带宽存储装置。所述第一存储器内处理命令的完成具有确定的延迟。所述逻辑电路还通过所述第一接口从所述主机装置接收第二命令并将所接收的第二命令转换成第二存储器内处理命令，所述第二存储器内处理命令通过所述第二接口发送到所述高带宽存储装置。所述第二存储器内处理命令的完成具有不确定的延迟。

[相关申请的交叉参考]

本专利申请主张在2017年9月14日提出申请的美国临时专利申请第62/558,726号的优先权、在2017年9月14日提出申请的临时专利申请第62/558,732号的优先权以及在2017年9月14日提出申请的临时专利申请第62/558,741号的优先权，所述各临时专利申请的公开内容全文并入本申请供参考。

技术领域

本文所公开的主题大体来说涉及高带宽存储(HBM)系统，且更具体来说，涉及一种能够在存储器操作中进行确定的处理及不确定的处理以与主机装置接口的系统及协议。

背景技术

新兴应用(比如，深度神经网络)使用大规模的计算及存储能力来对不同的数据集进行训练并以高的准确性进行学习。此外，随着应用(比如，高性能计算(high-performancecomputing，HPC)、图形算法等)变为数据及计算密集型的，能量效率及低延迟成为关键特性。存储器内处理(processing in memory，PIM)能够通过在动态随机存取存储器(dynamicrandom access memory，DRAM)逻辑裸片上排程复杂的操作来解决这些挑战，从而以较低功率技术进程提供额外的计算能力，且还更靠近数据所在的位置。

发明内容

一个示例性实施例提供一种高带宽存储(high-bandwidth memory，HBM)系统，所述高带宽存储系统可包括高带宽存储装置以及逻辑电路。所述逻辑电路可包括能够耦合到主机装置的第一接口及耦合到所述高带宽存储装置的第二接口，其中所述逻辑电路可能够通过所述第一接口从所述主机装置接收第一命令并将所接收的所述第一命令转换成第一存储器内处理(PIM)命令，所述第一存储器内处理命令通过所述第二接口发送到所述高带宽存储装置，其中所述第一存储器内处理命令的完成可具有确定的延迟。所述逻辑电路还可通过所述第一接口从所述主机装置接收第二命令并将所接收的所述第二命令转换成第二存储器内处理命令，所述第二存储器内处理命令通过所述第二接口发送到所述高带宽存储装置，其中所述第二存储器内处理命令的完成可具有不确定的延迟。响应于从所述主机装置接收到所述第一命令，所述逻辑电路可控制所述高带宽存储装置对所述高带宽存储装置的信道中的至少一个所选择存储体进行预充电。所述逻辑电路从所述主机装置接收到所述第一命令的时刻与所述高带宽存储系统准备好从所述主机装置接收另一命令的时刻之间的时间可为确定的。

另一个示例性实施例提供一种高带宽存储(HBM)系统，所述高带宽存储系统可包括高带宽存储装置以及逻辑电路。所述逻辑电路可包括第一接口、第二接口及事务总线，所述第一接口包括能够耦合到主机装置的命令/地址总线及能够耦合到所述主机装置的数据总线，所述第二接口耦合到所述高带宽存储装置，所述事务总线能够耦合到主机装置。所述逻辑电路可能够通过所述第一接口从所述主机装置接收第一命令并将所接收的所述第一命令转换成第一存储器内处理(PIM)命令，所述第一存储器内处理命令通过所述第二接口发送到所述高带宽存储装置，其中所述第一存储器内处理命令的完成可具有不确定的延迟。当所述第一存储器内处理命令已完成时，所述逻辑电路可通过所述事务总线向所述主机装置发送指示。所述逻辑电路通过所述数据总线从所述主机装置接收与所述第一命令对应的第一命令分组，且从所述主机装置接收到所述第一命令的时刻与所述高带宽存储系统准备好从所述主机装置接收另一命令的时刻之间的时间可为不确定的。