[发明专利]用于神经网络执行期间的存储器分配的方法

说明书

本公开涉及用于神经网络执行期间的存储器分配的方法。根据一个方面，提出了一种用于定义在人工神经网络的执行期间使用的临时暂存缓冲在易失性存储器中的放置的方法，该方法包括：确定神经网络的层的执行次序；根据层的执行次序，定义由每层生成的中间结果缓冲在易失性存储器的堆存储器区中的放置；在层的执行上确定堆存储器区的至少一个自由区域，根据层的执行次序，定义临时暂存缓冲在堆存储器区的至少一个自由区域中的放置。

相关申请的交叉引用

本申请要求于2020年12月16日提交的法国申请第2013373号的优先权，该申请通过引用被整体并入本文中。

技术领域

本公开总体上涉及人工神经网络，并且在具体实施例中，涉及神经网络映射期间的存储器分配。

背景技术

人工神经网络可以由诸如微控制器的集成电路来实现。人工神经网络通常包括一系列神经元层。人工神经网络将数据集合作为第一层的输入，并且将最终结果作为最后一层的输出来传递。被布置在第一层与最后一层之间的每层在其输出处生成中间结果数据的块，也称为张量数据。其他层将这些中间结果数据作为输入，并且由此生成对应的中间结果数据。

在神经网络的执行期间，每个中间结果被临时存储在集成电路的存储器的存储区域(称为全局存储器区域)中。然而，集成电路具有有限大小的存储器。限制存储由神经网络层生成的中间结果所需的大小将是有利的。

方法用于在神经网络的执行期间定义中间结果缓冲在存储器中的放置，以限制用于存储中间结果的存储器的大小。

例如，以编号EP3663987公开的欧洲专利申请或以编号No.2004337提交的法国专利申请公开了这样的方法。

除此之外，层的执行可能需要将暂存(scratch)数据临时存储在存储器中。暂存数据是仅由给定层使用的临时层内数据，并且仅在该给定层的执行期间需要被分配。

例如，暂存数据可以是权重、与层相关的临时中间结果或查找表的副本。暂存数据也可以是针对计算密集型任务(诸如循环展开)的层内数据。然而，这种暂存数据的临时存储通常没有被优化。为了使神经网络的推理时间最小化，暂存数据的临时存储通常导致RAM或闪速存储器损失。

提供一种用于有效地分配和放置暂存数据的方法将是有利的。

发明内容

根据一个方面，提出了一种用于定义在人工神经网络的执行期间使用的临时暂存缓冲在易失性存储器中的放置的方法。根据一个实施例，该方法包括：确定神经网络的层的执行次序；根据层的执行次序，定义由每层生成的中间结果缓冲在易失性存储器的堆存储器区中的放置。该方法还包括：在层的执行上确定堆存储器区的至少一个自由区域；以及根据层的执行次序，定义临时暂存缓冲在堆存储器区的至少一个自由区域中的放置。

在实施例中，根据神经网络的层的执行次序，中间结果缓冲的放置确定用于分配这些中间结果缓冲所需的堆存储器区的限制。

在实施例中，只要层的执行需要中间结果缓冲，就在堆存储器区中分配它们。当用于层的执行的中间结果缓冲具有比堆存储器区的大小更小的累积大小时，在堆存储器区中出现自由区域。这种方法允许用于分配中间结果缓冲的堆存储器区的可用自由区域也被用于分配暂存缓冲。

暂存缓冲可以用于层内级优化。例如，暂存缓冲用于将层的权重从闪速存储器移动到随机存取存储器(RAM)。暂存缓冲也可以用于针对计算密集型任务的循环展开。使用堆存储器区的自由区域来分配暂存缓冲使得可以在不增加RAM或闪速存储器的大小的情况下优化推理时间。该方法还允许降低用于神经网络的执行的功耗。

对神经网络的层的执行次序的确定可以通过深度优先搜索算法(例如，通过使用有向无环图(Directed Acyclic Graphs))来执行。