[发明专利]执行神经网络模型的PIM架构的数据布局优化

权利要求书

1.一种在包含存储块组件的PIM使能设备上布置计算图的方法，包括：

将计算图的第一节点分配到存储块组件中的存储块的第一阵列的第一存储块上；以及，

将计算图的第二节点分配到存储块组件中的存储块的第二阵列的第二存储块上，其中，所述第一节点的输出数据用于提供给所述第二节点使用；

其中，所述存储块组件配置为支持经由所述存储块组件中的内部数据耦合从所述第一存储块到所述第二存储块的数据传输。

2.根据权利要求1的方法，进一步包括：

基于第一节点和第二节点之间的依赖关系，为第一节点分配第一层编号，为第二节点分配第二层编号，其中第二层编号大于第一层编号。

3.根据权利要求2所述的方法，其中，所述计算图还包括第三节点，所述第三节点的输出数据用于提供给所述第二节点使用，第三层编号被分配给该节点，并且

当第一层编号大于第三层编号时，通过将第一层编号增加1获得第二层编号；当第三层编号大于第一层编号时，通过将第三层编号增加1获得第二层编号。

4.根据权利要求1的方法，进一步包括：

将第二节点重新分配到存储块组件中的存储块的第三阵列的第三存储块上；

其中，所述存储块组件配置为支持通过由所述存储块组件的所有存储块共享的全局缓冲区从第一存储块到第三存储块的数据传输，并且

来自包括第二节点且被分配给存储块第二阵列的一个或多个节点的输出边的数目，大于来自包括第一节点且被分配给存储块第一阵列的一个或多个节点的输出边的数目。

5.根据权利要求1的方法，进一步包括：

基于向量折叠，确定用于在第一存储块上执行第一节点的数据布局，

其中，第一存储块包括布置成多行和多列的存储单元阵列。

6.根据权利要求5所述的方法，其中所述第一节点包括向量与矩阵之间的向量矩阵乘法运算，并且

其中，所述向量的第一元素与所述向量的第二元素布置在多个列之间的同一列中。

7.根据权利要求6所述的方法，其中所述向量的第一元素在多个列中的同一列中被多次复制。

8.一种用于在包含存储块组件的PIM使能设备上布置计算图的设备，包括：

存储一组指令集的存储器；以及

一个或多个处理器，配置为执行所述一组指令集以使设备执行：

将计算图的第一节点分配到存储块组件中的存储块的第一阵列的第一存储块上；以及，

将计算图的第二节点分配到存储块组件中的存储块的第二阵列的第二存储块上，其中，所述第一节点的输出数据用于提供给所述第二节点使用；

其中，所述存储块组件配置为支持经由所述存储块组件中的内部数据耦合从所述第一存储块到所述第二存储块的数据传输。

9.根据权利要求8所述的设备，其中所述一个或多个处理器被配置为执行所述指令集，以使所述设备进一步执行：

基于第一节点和第二节点之间的依赖关系，为第一节点分配第一层编号，为第二节点分配第二层编号，其中第二层编号大于第一层编号。

10.根据权利要求9所述的装置，其中，所述计算图还包括第三节点，所述第三节点的输出数据用于提供给所述第二节点使用，第三层编号被分配给该节点，并且

当第一层编号大于第三层编号时，通过将第一层编号增加1获得第二层编号；当第三层编号大于第一层编号时，通过将第三层编号增加1获得第二层编号。