[发明专利]存储空间分配方法、终端设备及计算机可读存储介质

说明书

本申请适用于数据处理技术领域，提供了一种存储空间分配方法、终端设备及计算机可读存储介质，所述方法包括：若神经网络中存在与第一层组的第一输出张量具有相同负载的第二层组的第二输出张量、且所述第二层组的第二输出张量已分配有第一存储编号，则将所述第一存储编号分配给所述第一层组的第一输出张量；计算所述第一层组的第一输出张量的第一数据量；根据所述第一数据量更新所述第一存储编号对应存储区域的大小。通过上述方法，可以在神经网络的数据存储过程中提高存储空间的利用率。

技术领域

本申请属于数据处理技术领域，尤其涉及一种存储空间分配方法、终端设备及计算机可读存储介质。

背景技术

神经网络处理器用于执行神经网络模型的计算任务，与神经网络处理器配套的编译器用于对神经网络模型进行编译、以生成可以在神经网络处理器上执行计算任务的机器码。编译器在编译过程中，通常将神经网络模型中多个连续的层融合为一个层组。层组之间的数据传输通过外部存储空间实现，层组内各层之间的数据传输通过神经网络处理器的内部存储空间实现。因此，编译器需要在外部存储空间中为层组分配存储区域。

现有技术中，编译器在外部存储空间中为不同层组分配不同的存储区域。当层组的输入端/输出端的个数不确定时，层组之间的连接关系变得更为复杂，层组的不同输出端的数据可能分别用于不同的网络计算任务。此种情况下，若以层组为单位分配存储空间，可能同一个存储区域中存储了多个输出张量，导致存储空间的使用不便。若为层组的每个输出张量分配不同的存储区域，将会增加外部存储空间的数据传输压力，降低存储空间的利用率。

发明内容

本申请实施例提供了一种存储空间分配方法、终端设备及计算机可读存储介质，可以在神经网络的数据存储过程中提高存储空间的利用率。

第一方面，本申请实施例提供了一种存储空间分配方法，应用于神经网络，所述神经网络中包括多个层组，每个层组中包括连续的至少一个层，每个层组有至少一个输入端层组和至少一个输出端层组，所述方法包括：

若所述神经网络中存在与第一层组的第一输出张量具有相同负载的第二层组的第二输出张量、且所述第二层组的第二输出张量已分配有第一存储编号，则将所述第一存储编号分配给所述第一层组的第一输出张量，其中，所述第一输出张量的负载为所述第一层组的输出端层组的输出张量，存储编号用于表示第一存储空间中存储区域的先后顺序；

计算所述第一层组的第一输出张量的第一数据量；

根据所述第一数据量更新所述第一存储编号对应存储区域的大小。

在神经网络中，若两个输出张量的负载相同，说明该两个层组的输出数据需要融合在一起。在本申请实施例中，以层组的输出张量为细粒度进行存储空间的划分，可以有效避免神经网络数据存储过程中数据混淆情况的发生。进一步的，为具有相同负载的输出张量分配相同的存储编号，相同的存储编号对应一个连续的存储区域，相当于将具有相同负载的输出张量分配到同一个连续的存储区域内。通过上述方法，相当于在存储空间中对具有相同负载的输出张量进行融合，减少了存储空间与处理器之间的数据传输次数，进而减少了存储空间的数据传输压力。另外，根据具有相同负载的输出张量的数据量更新其对应存储区域的大小，使得存储空间内的存储区域尽可能复用，进而提高了存储空间的利用率。

第二方面，本申请实施例提供了一种存储空间分配装置，应用于神经网络，所述神经网络中包括多个层组，每个层组中包括连续的至少一个层，每个层组有至少一个输入端层组和至少一个输出端层组，所述装置包括：

第一分配单元，用于若所述神经网络中存在与第一层组的第一输出张量具有相同负载的第二层组的第二输出张量、且所述第二层组的第二输出张量已分配有第一存储编号，则将所述第一存储编号分配给所述第一层组的第一输出张量，其中，所述第一输出张量的负载为所述第一层组的输出端层组的输出张量，存储编号用于表示第一存储空间中存储区域的先后顺序；

数据计算单元，用于计算所述第一层组的第一输出张量的第一数据量；