[发明专利]用于稀疏神经网络的低功率架构

说明书

提供了一种用于降低神经网络的功耗的方法、计算机可读介质和装置。该装置可以从标签存储中取回用于神经网络中的权重的第一标签值或者用于神经网络中的激活的第二标签值的至少一个标签值。第一标签值可以指示权重是否为零，而第二标签值可以指示激活是否为零。该权重和激活将作为操作数对被加载到乘法器‑累加器单元的乘法器。该装置可以确定该至少一个标签值是否指示零值。该装置可以在该至少一个标签值指示零值时禁止将该权重和激活加载到该乘法器。该装置可以禁止对零值激活进行更新。

相关申请的交叉引用

本申请要求于2016年12月13日提交的题为“LOW-POWER ARCHITECTURE FORSPARSE NEURAL NETWORK(用于稀疏神经网络的低功率架构)”的美国专利申请No.15/377,858的权益，其通过援引全部明确纳入于此。

背景

领域

本公开一般涉及用于人工神经网络的计算系统，且更具体而言涉及用于深度神经网络的硬件加速器。

背景技术

可包括一群互连的人工神经元的人工神经网络是一种计算设备或者可表示将由计算设备执行的方法。人工神经网络可具有生物学神经网络中的对应的结构和/或功能。然而，人工神经网络可为其中传统计算技术可能是麻烦的、不切实际的、或不胜任的某些应用提供创新且有用的计算技术。由于人工神经网络可以从观察中推断出函数，因此这样的网络在因任务或数据的复杂度使得通过常规技术来设计该函数较为麻烦的应用中可能是特别有用的。

在计算中，硬件加速是使用计算机硬件来比用在较通用的CPU上运行的软件更有可能地更高效地执行某些功能。执行加速的硬件可被称为硬件加速器。硬件加速器可通过允许较大并发性、具有用于算法中的临时性的特定数据路径、以及可能降低指令控制的开销来改进特定算法的执行。

卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)具有众多应用。具体而言，CNN已被广泛使用于模式识别和分类领域。

深度卷积神经网络(DCN)已经在分类问题(例如，图像识别)中显示了很好的性能。专用硬件加速器可被构建以启用DCN技术在像移动计算和云计算等领域中的各种应用。DCN中的功率密集操作可以是矩阵-矩阵乘法和卷积。

若干技术可以降低计算开销并改进DCN分类器的质量。然而，此类技术可以导致乘法操作数的增加的稀疏性(例如，由于降低数目的非零操作数导致的较高百分比的零值操作数)。例如，权重修剪可导致DCN中约30-70％的稀疏性。使用经矫正线性单元(ReLU)激活可以引起DCN中约50％的稀疏性。DCN的丢出(仅用于训练)可导致DCN中25-75％的稀疏性。由权重修剪引起的稀疏性可以是静态稀疏性，而由ReLU和丢出引起的稀疏性可以是动态稀疏性。具有高百分比的零值操作数的神经网络可被称为稀疏神经网络。

概述

以下给出了一个或多个方面的简要概述以提供对此类方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在标识出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是以简化形式给出一个或多个方面的一些概念以作为稍后给出的更详细描述之序言。

若干技术可以降低计算开销并改进DCN分类器的质量。然而，这些技术可导致乘法操作数的增加的稀疏性。硬件加速器设计可以将稀疏性纳入考虑以降低功耗。例如，硬件加速器可以被配置成避免取回零值操作数、避免与零值操作数相乘，以及避免累加零值操作数。