[发明专利]用于存储器内计算的可缩放阵列架构

权利要求书

1.一种可配置以支持映射到其上的应用的可缩放执行和数据流的集成式存储器内计算(IMC)架构，其包括：

多个可配置存储器内计算单元(CIMU)，其形成CIMU的阵列；以及

可配置芯片上网络，其用于将输入数据传送到所述CIMU的阵列，在CIMU之间传送计算数据，以及从所述CIMU的阵列传送输出数据。

2.根据权利要求1所述的集成式IMC架构，其中：

每一CIMU包括输入缓冲器，用于从所述芯片上网络接收计算数据，以及将所接收计算数据构成为输入向量以供由所述CIMU进行矩阵向量相乘(MVM)处理以借此生成包括输出向量的计算数据。

3.根据权利要求2所述的集成式IMC架构，其中每一CIMU与快捷缓冲器相关联，用于从所述芯片上网络接收计算数据，将时间延迟施加到所接收计算数据，以及根据数据流映射朝向下一CIMU或输出转发经延迟计算数据，使得维持跨多个CIMU的数据流对准。

4.根据权利要求2所述的集成式IMC架构，其中每一CIMU包含被配置成用于处理从相应输入缓冲器和快捷缓冲器中的至少一个接收的输入数据的并行计算硬件。

5.根据权利要求3所述的集成式IMC架构，其中所述CIMU的阵列中的所述多个CIMU中的每一个的所述输入缓冲器和快捷缓冲器中的至少一个根据支持像素层级管线化的数据流映射配置以提供管线时延匹配。

6.根据权利要求3所述的集成式IMC架构，其中由CIMU的快捷缓冲器施加的所述时间延迟包括绝对时间延迟、预定时间延迟、相对于输入计算数据的大小确定的时间延迟、相对于所述CIMU的预期计算时间确定的时间延迟、从数据流控制器接收的控制信号、从另一CIMU接收的控制信号，以及由所述CIMU响应于所述CIMU内发生某一事件而生成的控制信号中的至少一个。

7.根据权利要求3所述的集成式IMC架构，其中至少一些所述输入缓冲器可被配置成将时间延迟施加到从所述芯片上网络或从快捷缓冲器接收的计算数据。

8.根据权利要求7所述的集成式IMC架构，其中由CIMU的输入缓冲器施加的所述时间延迟包括绝对时间延迟、预定时间延迟、相对于输入计算数据的大小确定的时间延迟、相对于所述CIMU的预期计算时间确定的时间延迟、从数据流控制器接收的控制信号、从另一CIMU接收的控制信号，以及由所述CIMU响应于所述CIMU内发生某一事件而生成的控制信号中的至少一个。

9.根据权利要求8所述的集成式IMC架构，其中所述CIMU的至少一子集与芯片上网络部分相关联，所述芯片上网络部分包含根据映射到所述IMC上的应用的数据流配置的操作数加载网络部分。

10.根据权利要求9所述的集成式IMC架构，其中映射到所述IMC上的所述应用包括映射到所述IMC上的神经网络(NN)，使得给定层处执行的经配置CIMU的并行输出计算数据提供到下一层处执行的经配置CIMU，所述并行输出计算数据形成相应NN特征映射像素。

11.根据权利要求10所述的集成式IMC架构，其中所述输入缓冲器被配置成用于根据选定跨度将输入NN特征映射数据传递到所述CIMU内的并行计算硬件。

12.根据权利要求11所述的集成式IMC架构，其中所述NN包括卷积神经网络(CNN)，且所述输入线缓冲器用于缓冲对应于所述CNN内核的大小的输入特征映射的若干行。

13.根据权利要求2所述的集成式IMC架构，其中每一CIMU包括存储器内计算(IMC)存储体，所述存储器内计算(IMC)存储体被配置成根据位并行位串行(BPBS)计算过程执行矩阵向量相乘(MVM)，其中使用具有列加权过程继之以结果累加过程的迭代桶形移位执行单个位计算。