[发明专利]在推理期间具有零激活的神经网络架构的节能

说明书

实施例一般地涉及提供在推理期间具有零激活的神经网络架构的节能。一种设备的实施例包括：一个或多个处理器，其包括一个或多个处理器核心；以及存储器，用于存储用于处理的数据，所述处理包括神经网络处理，其中所述设备用于执行快速清除操作，以通过更新指示零值的元数据来初始化用于神经网络的激活缓冲器，所述神经网络包括多个层，其中所述设备用于将所述神经网络的输出与元数据值进行比较，并且用于仅在输出为非零时才将该输出写入存储器。

优先权声明

本申请要求于2018年9月27日提交的题为“POWER SAVINGS FOR NEURAL NETWORKARCHITECTURE WITH ZERO ACTIVATIONS DURING INFERENCE(在推理期间具有零激活的神经网络架构的节能)”的美国申请No.16/144,538的权益和优先权，并且该美国申请的全部内容通过引用并入本文。

技术领域

本文所述的实施例一般地涉及计算系统领域，并且更具体地提供在推理期间具有零激活的神经网络架构的节能。

背景技术

神经网络应用于众多技术的处理中，其应用范围仍在持续增长。特别是，神经网络功能正扩展到较小的装置中，而不是局限于大处理系统。

然而，在处理能力和功率受到制约的紧凑型装置中，神经网络的性能和功耗变得更加至关重要。除了其他效率低下以外，即使在激活和内核权重中存在大量零值时，神经网络也需要处理支持。但是，在神经网络操作中零值很普遍，这种零值指示相关节点出于推理的目的而被关闭。

神经网络加速器可能会略过具有零值的计算的执行，但在检测到零激活时，硬件通常仍保持活动。为了累积来自相邻感知器的部分和，需要一种设备或系统以同步方式进行处理，并因而需要维持对感知器元件的供电。因此，常规技术将包括硅硬件，即使在推理中未使用这种硬件，其也会被供电，从而造成了在应用未采用零权重节点时相关硅区域的功率开销。

附图说明

在附图的图中以示例方式而非以限制性方式示出了本文所述的实施例，附图中相似附图标记指代相似元件。

图1是根据一些实施例的处理系统的框图；

图2是具有一个或多个处理器核心、集成存储器控制器和集成图形处理器的处理器的实施例的框图；

图3是根据一些实施例的图形处理器的框图；

图4是根据一些实施例的图形处理器的图形处理引擎的框图；

图5是根据一些实施例的图形处理器核心的硬件逻辑的框图；

图6A-图6B示出根据一些实施例的线程执行逻辑，其包括在图形处理器核心中采用的处理元件的阵列；

图7是示出根据一些实施例的图形处理器指令格式的框图；

图8是图形处理器的另一实施例的框图；

图9A是示出根据一些实施例的图形处理器命令格式的框图；

图9B是示出根据一个实施例的图形处理器命令序列的框图；

图10示出根据一些实施例的数据处理系统的示例性图形软件架构；

图11A是示出根据一个实施例的可以用于制造集成电路以执行操作的IP核心开发系统的框图；

图11B示出根据一些实施例的集成电路封装组件的截面侧视图；

图12是示出根据一个实施例的可以使用一个或多个IP核心进行制作的示例性片上系统集成电路的框图；

图13A示出根据一个实施例的可以使用一个或多个IP核心进行制作的片上系统集成电路的示例性图形处理器；