[发明专利]用于确定针对神经网络的全局存储器大小的方法和设备

说明书

本公开的各实施例涉及用于确定针对神经网络的全局存储器大小的方法和设备。根据一个实施例，一种用于确定配置为存储神经网络的每个层的输入数据和输出数据的全局存储器区域的整体存储器大小的方法包括：针对第一层之后的神经网络的每个当前层，基于与先前层相关联的每个先前基本存储器区域，确定一对基本存储器区域，其中：该对基本存储器区域的两个基本存储器区域分别具有两个基本存储器大小，两个基本存储器区域中的每个基本存储器区域配置为存储神经网络的当前层的输入数据和输出数据，输出数据分别存储在两个不同的位置中，并且全局存储器区域的整体存储器大小与神经网络的最后一层的输出处的最小基本存储器大小相对应。

相关申请的交叉引用

本申请要求于2019年3月20日提交的法国专利申请号1902855的优先权，该申请以其整体通过引用并入本文。

技术领域

本发明的实施例涉及确定针对神经网络的全局存储器大小的方法和设备。

背景技术

神经网络被广泛用于解决各种统计问题，特别是数据分类的问题。

在通常受监督的自动学习阶段之后，换句话说，在已经分类的参考数据库上，神经网络“学习”并变得有能力自己对未知数据应用相同的分类。

例如，可以提到卷积神经网络(或CNN)，其是一种神经网络，其中神经元之间的连接的模式受到动物视觉皮层的启发。它们允许在图像或视频中的对象或人物的有效标识。

卷积神经网络通常包含依次处理信息的四种类型的层：卷积层，其依次处理例如图像的块；非线性层，其允许改善结果的相关性；池化层，其允许将多个神经元组合为单个神经元；以及完全连接(或密集)层，其将层的所有神经元连接到前一层的所有神经元。

每个层将数据作为输入，并且在通过层处理之后在输出处递送输出数据(或“特征”)。卷积层通常与前一层的神经元与神经网络的权重之间的标量积相对应。它构成了卷积神经网络的第一层。“权重”是术语，其在神经网络领域中的含义是本领域技术人员众所周知的，应理解为是指可配置以获得良好输出数据的神经元的参数。

卷积层的目的是标识在输入处接收到的图像中一组特定数据的存在。为此，过滤受卷积影响。原理是滑动代表将检测数据的窗口，并计算该窗口与所扫描图像的各部分之间的卷积。

针对每个卷积，都获得指示特定数据在图像上的位置的输出数据。

池化层通常位于两个卷积层之间。池化层在其输入处接收来自卷积层的输出数据，对其施加“池化”操作，“池化”操作包括在保留其重要特征的同时减小数据大小。它允许减少网络参数和计算的数目，并且因此提网络的效率。

全连接层构成卷积神经网络或非卷积神经网络的最后一层；它允许对输入到神经网络的数据进行分类。

神经网络的通常架构堆叠几对卷积层和非线性层，然后添加一个池化层并重复此模式，直到获得足够小大小的输出数据，然后利用两个完全连接的层完成。

今天，神经网络变得越来越复杂，并在存储器中占据了重要空间。

一些类型的易失性存储器与神经网络的使用相容，例如TCM(即“紧密耦合存储器”)存储器或静态易失性存储器SRAM(即“静态随机存取存储器”)或外部存储器。

如果神经网络需要较大的存储器，则在其中实现神经网络的系统可能组合例如TCM存储器与外部存储器的一些类型的存储器，这减慢网络的执行时间。

因此，需要尽可能地限制或优化执行神经网络所需的存储器大小。

存储器大小的优化还导致系统的表面积的优化，以及执行神经网络时其功耗的减小。