[发明专利]用于管理级联神经网络中的存储器的方法和安排

权利要求书

1.一种用于管理存储器资源的设备，所述设备包括：

存储器；

与所述存储器耦合的逻辑电路系统，用于为级联神经网络的两个或更多个级确定并发共享存储器块分配的计数，以及确定所述计数个并发共享存储器块分配中的每个共享存储器块分配的大小，以容纳用于存储在所述级联神经网络的用于推断计算的所述两个或更多个级的共享存储器中的数据。

2.如权利要求1所述的设备，其特征在于，所述逻辑电路系统被配置成生成所述并发共享存储器块分配的列表以及每个所述共享存储器块分配的大小信息。

3.如权利要求1所述的设备，其特征在于，所述逻辑电路系统被配置成确定所述级联神经网络的所述两个或更多个级的每级批大小。

4.如权利要求1所述的设备，其特征在于，所述逻辑电路系统被配置成确定所述两个或更多个级中的级的缺乏相互依赖性的输入的计数。

5.如权利要求4所述的设备，其特征在于，所述逻辑电路系统被配置成基于可用于执行所述级联神经网络的所述两个或更多个级的共享存储器的固定量来确定所述批大小。

6.如权利要求5所述的设备，其特征在于，所述逻辑电路系统被配置成基于可用于执行所述级联神经网络的所述两个或更多个级的共享存储器的所述固定量，基于最大计数、为每个共享存储器块分配确定的大小以及输入的所述计数来确定所述批大小。

7.如权利要求1所述的设备，其特征在于，所述逻辑电路系统被配置成确定针对用于存储在所述共享存储器中的张量数据的并发共享存储器块分配的计数以及所述张量数据的大小信息。

8.如权利要求1所述的设备，其特征在于，所述逻辑电路系统被配置成比较所述级联神经网络的所述并发共享存储器块分配的计数以确定所述共享存储器块分配的所述计数中的最大计数。

9.如权利要求1所述的设备，其特征在于，所述逻辑电路系统被配置成基于所述两个或更多个级中的第一级的输入数据大小与所述两个或更多个级中的另一个级的输入数据大小的比率来计算批大小。

10.一种用于管理存储器资源的方法，所述方法包括：

由存储器管理逻辑电路系统为级联神经网络的两个或更多个级确定并发共享存储器块分配的计数；以及

由所述存储器管理逻辑电路系统确定所述计数个并发共享存储器块分配中的每个共享存储器块分配的大小，以容纳用于存储在所述级联神经网络的用于推断计算的所述两个或更多个级的共享存储器中的数据。

11.如权利要求10所述的方法，其特征在于，进一步包括由所述存储器管理逻辑电路系统生成所述并发共享存储器块分配的列表以及每个所述共享存储器块分配的大小信息。

12.如权利要求10所述的方法，其特征在于，进一步包括确定级联神经网络的所述两个或更多个级的每级批大小。

13.如权利要求10所述的方法，其特征在于，确定每级批大小包括确定所述两个或更多个级中的级的缺乏相互依赖性的输入的计数。

14.如权利要求13所述的方法，其特征在于，确定每级批大小包括基于可用于执行所述级联神经网络的所述两个或更多个级的共享存储器的固定量来确定所述批大小。

15.如权利要求14所述的方法，其特征在于，基于可用于执行所述级联神经网络的所述两个或更多个级的共享存储器的固定量、基于最大计数来确定所述批大小包括基于最大计数、为每个共享存储器块分配确定的大小以及输入的所述计数来确定所述批大小。