[发明专利]在系统高速缓存中分配特征图的神经网络加速方法和系统

说明书

本主题涉及一种用于在DRAM中的系统高速缓存中分配特征图的方法和系统。该方法包括接收与系统高速缓存处的数据相关联的多个输入特征图。然后创建空间上协同定位的特征图的多个集群，并且基于一个或多个集群参数计算集群中的每一个的优先级。该方法还包括基于执行顺序和集群中的每一个的经计算的优先级来放置多个集群，以获得优先化的多个集群。此后，将第一地址指派给经优先化的多个集群中的每一个，并且然后基于寿命参数的冲突来确定对经优化的多个集群中的连续集群中的每一个的地址指派的重叠。所述方法还包括基于确定的结果和集群中的每一个的经计算的优先级而将第二地址重新指派给经优化的多个集群中的每一个。

技术领域

本公开涉及用于系统高速缓存中的推断/训练的人工智能(AI)加速的方法和系统。更具体地说，本发明涉及基于用于神经网络加速的“优先化线性扫描”的神经网络加速机制，其用于在DRAM中的系统高速缓存中分配特征图。

背景技术

随着机器学习(ML)技术的最近发展，神经网络架构在处理复杂数据方面发挥至关重要的作用。神经处理单元(NPU)是一种专用电路，其通常通过对诸如人工神经网络(ANN)或随机森林(RF)等的预测模型进行操作来实现执行机器学习算法所必需的所有必需的控制和算术逻辑。图1(a)示出了现有技术的NPU硬件架构。在现有技术中，NPU硬件架构100A包括动态随机存取存储器(DRAM)101、一个或多个直接存储器存取(DMA)103、与DRAM 101耦合的便笺式SRAM 105。便笺式SRAM 105还与NPU引擎109耦合。末级高速缓存(LLC)111与DMA103耦合。

NPU引擎109可以用神经网络来实现，该神经网络通常包括输入层、一个或多个隐藏层、以及输出层，如图1(b)中所示。输入层被馈送有需要处理的数据的输入特征图。为了执行这种高端计算和处理复杂的数据，开发了微架构。图1(c)示出了具有末级/系统级高速缓存(LLC)111的现有技术的微架构100B。机器学习(ML)技术使得微架构的设计更加复杂。ML推断需要待访问和处理的大量的数据。因此，ML的下一代微架构不仅需要快速处理器，而且还需要更快的存储器访问。由于下一代微架构具有较快的处理速度，因此它通常利用多级高速缓冲存储器来最小化快速处理器与相对较慢的DRAM之间的延迟和缓冲带宽。现在为了解决这种存储器挑战，引入了末级/系统级高速缓存111或L3高速缓存。图2示出了具有末级/系统级高速缓存111的现有技术NPU DRAM PATH。在下面的表1中示出了现代SoC的NPUDRAM PATH中的各种端口的典型带宽(BW)要求。根据该表，1DRAM(理想的)与LLC(理想的)相比具有低得多的BW以提供给NPU。

表1

在神经网络拓扑中的常规实现中，节点的输出变成下一节点的输入，其被称为中间特征图，如图3(a)所示。因此，根据图3(a)，太多的数据将进入高速缓存，这将驱逐先前的数据。这比非高速缓存的特征图差。此外，图3(b)和图3(c)示出了NPU子系统中的地址范围的映射。根据图3(b)系统，MMU地址与具有中间特征图、输出特征图和输入特征图的虚拟地址相映射。此外，如图3(b)所示，中间特征图区域被划分为两个部分，即，具有LLC禁用部分和具有LLC启用部分。然而，由于缺乏局部性以及由于过多的数据移入高速缓存中和从高速缓存移出过多的数据而导致的系统颠簸，使中间特征缓冲器能够高速缓存的现有机制在改善性能方面没有表现出任何主要优点。此外，观察到该高速缓存劣化了神经网络推断的性能。

此外，在神经网络算法的情况下，输入特征图(即，图像)变得更大和更重，因此所需的存储器占用变得更大。在运行时间期间，若干模型同时运行，这使得存储器问题严重。除了存储器可用性瓶颈之外，来自慢速DRAM类型存储器的若干事务(transaction)影响该性能。此外，对于嵌入式系统，用于神经网络的功耗也是一个问题。

因此，可以看出，需要提供一种用于DRAM中的特征图放置的方法，以最大化末级/系统级高速缓存的益处，从而改善性能、功率、存储器占用、适应性。

发明内容