[发明专利]用于管理级联神经网络中的存储器的方法和安排

说明书

描述了用于管理级联神经网络中的存储器的方法和安排。逻辑可以减小用于深度神经网络推断计算的运行时间存储器的大小。逻辑可以为神经网络的两个或更多个级确定在执行所述两个或更多个级期间同时存在的共享块分配或共享存储器块分配的计数。逻辑可以比较所述共享块分配的计数以确定所述计数中的最大计数。逻辑可以减小用于深度神经网络推断计算的推断计算时间。逻辑可以确定所述计数的共享存储器块分配中的所述共享块分配的每一个的大小，以容纳用于在执行所述级联神经网络的所述两个或更多个级期间存储在共享存储器中的数据。逻辑可以基于输入数据之间缺乏相互依赖性来确定级联神经网络的所述两个或更多个级的每级批大小。

技术领域

本文描述的实施例涉及存储器管理领域。更具体地，实施例涉及用于管理级联神经网络中的存储器分配的方法和安排。

背景技术

在海量数据的可用性和处理数据的计算能力的驱动下，深度学习是解决跨如图像识别、语音处理、自然语言处理、语言翻译和自主车辆等广泛领域的复杂问题的关键工具。卷积神经网络(CNN)已经成为用于对这些领域中的许多领域进行深度学习的最流行算法方式。高性能和最大程度的能源效率对于CNN在宽范围情况下，特别是如自主车辆、相机、和电子个人助理等移动平台下的部署至关重要。

附图说明

图1A至图1B描绘了包括处理器、存储器、神经计算引擎和神经网络流水线的系统的实施例；

图1C至图1D描绘了如图1A至图1B中所展示的存储器管理逻辑电路系统等存储器管理逻辑电路系统优化共享存储器块分配的过程的实施例；

图1E描绘了用于将其他实施方式的存储器使用率与如图1A和图1B中所示出的存储器管理逻辑电路系统等存储器管理逻辑电路系统的存储器使用率进行比较的表的实施例；

图1F描绘了用于将其他实施方式的推断速度与如图1A和图1B中所示出的存储器管理逻辑电路系统等存储器管理逻辑电路系统的推断速度进行比较的表的实施例；

图1G描绘了深度神经网络和共享存储器的级的实施例，以展示由如图1A和图1B中所示出的存储器管理逻辑电路系统等存储器管理逻辑电路系统进行批处理的过程；

图2描绘了如图1A和图1B中所示出的存储器管理逻辑电路系统等存储器管理逻辑电路系统的实施例；

图3A至图3C描绘了用于由如图1A和图1B中所示出的存储器管理逻辑电路系统等存储器管理逻辑电路系统优化存储器分配和实施批处理的实施例的流程图；以及

图4描绘了包括多个处理器平台、芯片组、总线和附件的系统的实施例；

图5至图6描绘了存储介质和计算平台的实施例。

具体实施方式

以下是附图中所描绘的实施例的详细描述。详细描述涵盖落在所附权利要求内的所有修改、等效物和替代物。

深度神经网络(DNN)在处置许多计算机视觉任务时变得流行，但它们太重而无法在嵌入式装置上运行，这主要是因为有限的存储器资源和小的计算功率。许多DNN包括用于面部检测、对象检测、或姿势检测的级联结构，其中，后续网络级处理前一网络级产生的(多个)输出。然而，这种级联网络在推断时可能需要更多的运行时间存储器并且使其在嵌入式装置上部署更加困难。

神经网络存在两种主要状态，包括训练和推断。在训练过程中，深度学习专家将通常构造网络，在神经网络中建立多个层、由每层执行的操作、以及层之间的连接。许多层具有参数，通常是滤波器权重，所述滤波器权重确定由层执行的精确计算。训练过程的目的是通常通过权重空间经由基于随机梯度下降的偏移学习滤波器权重。一旦训练过程完成，基于所训练的神经网络的推断通常采用对输入数据的正向传播计算来生成输出数据。