[发明专利]用于从卷积提前退出的系统、方法和设备

说明书

本文中所公开的包括用于从卷积提前退出的系统、方法和设备。在一些实施例中，至少一个处理元件(PE)电路被配置为针对与具有操作数集的点积运算相对应的神经网络的节点使用操作数集的子集来执行计算，以生成操作数集的子集的点积值。至少一个PE电路可以将操作数集的子集的点积值与阈值进行比较。至少一个PE电路可以至少基于比较的结果来确定是否激活神经网络的节点。

技术领域

本公开大体上涉及针对神经网络的处理，包括但不限于从神经网络的AI加速器中的卷积提前退出。

背景技术

机器学习正在各种不同的计算环境中实现，例如，包括计算机视觉、图像处理等。一些机器学习系统可以包含神经网络(例如，人工神经网络)。然而，从处理的观点和从能源效率的观点两者来看，神经网络的这种实现在计算上可能是昂贵的。

发明内容

根据本发明，提供了一种从卷积提前退出的方法，该方法包括：由至少一个处理元件(PE)针对与具有操作数集的点积运算相对应的神经网络的节点使用操作数集的子集来执行计算，以生成操作数集的子集的点积值；由至少一个PE电路将操作数集的子集的点积值与阈值进行比较；以及由至少一个PE电路至少基于比较的结果来确定是否激活神经网络的节点。

在一些实施例中，该方法可选地包括由至少一个PE电路标识操作数集的子集以执行计算。在一些实施例中，该方法可选地包括选择若干操作数作为操作数集的子集，该若干操作数使部分点积值比阈值至少低一定量。在一些实施例中，方法可选地包括选择若干操作数作为操作数集的子集，该若干操作数使部分点积值比阈值至少高一定量。

可选地，该方法包括重新排列操作数集以执行计算。在一些实施例中，该方法可选地包括通过重新排列神经网络的神经网络图来重新排列操作数集。在一些实施例中，方法可选地包括重新排列神经网络的神经网络图的至少一些节点或层的操作数。在一些实施例中，该方法可选地包括至少基于神经网络的输出的期望的精度来设置阈值。在一些实施例中，该方法可选地包括至少基于节能水平来设置阈值，该节能水平是通过使用操作数集的子集而不是使用操作数集中的全部执行计算而可被实现的。在一些实施例中，操作数集可选地包括节点的权重或核(例如，核元件)。

根据本发明，还提供了一种用于从卷积提前退出的设备，该设备包括至少一个处理元件(PE)电路，被配置为：针对与具有操作数集的点积运算相对应的神经网络的节点使用操作数集的子集来执行计算，以生成操作数集的子集的点积值；将操作数集的子集的点积值与阈值进行比较；以及至少基于比较的结果来确定是否激活神经网络的节点。

在一些实施例中，至少一个PE电路还可选地被配置为标识操作数集的子集以执行计算。在一些实施例中，至少一个PE电路还可选地被配置为选择若干操作数作为操作数集的子集，该若干操作数使部分点积值比阈值至少低一定量。在一些实施例中，至少一个PE电路还可选地被配置为选择若干操作数作为操作数集的子集，该若干操作数使部分点积值比阈值至少高一定量。

在一些实施例中，该设备还可选地包括处理器，该处理器被配置为重新排列操作数集以执行计算。在一些实施例中，处理器可选地被配置为通过重新排列神经网络的神经网络图来重新排列操作数集。在一些实施例中，该设备还可选地包括处理器，该处理器被配置为重新排列神经网络的神经网络图的至少一些节点或层的操作数。在一些实施例中，该设备还可选地包括处理器，该处理器被配置为至少基于神经网络的输出的期望的精度来设置阈值。在一些实施例中，处理器可选地被配置为至少基于节能水平来设置阈值，该节能水平是通过使用操作数集的子集而不是使用操作数集中的全部执行计算而可被实现的。在一些实施例中，操作数集可选地包括节点的权重或核。

在下面详细讨论这些和其他方面以及实现将。前述信息以下具体实施方式包括各个方面和实现的说明性示例，并且提供用于理解所要求保护的方面和实现的性质和特征的概述或框架。图提供对各个方面和实现的图示和进一步理解，并且并入本说明书中并构成本说明书的一部分。

附图说明