[发明专利]在深度神经网络中利用激活稀疏性

说明书

描述了一种在深度神经网络中利用激活稀疏性的方法。该方法包括检索激活张量和权重张量，其中该激活张量是稀疏激活张量。该方法还包括生成包含该激活张量的非零激活的经压缩激活张量，其中该经压缩激活张量具有比该激活张量少的列。该方法进一步包括对该经压缩激活张量和该权重张量进行处理以生成输出张量。

背景

根据35U.S.C.§119的优先权要求

本专利申请要求于2018年9月28日提交的题为“EXPLOITING ACTIVATIONSPARSITY IN DEEP NEURAL NETWORKS(在深度神经网络中利用激活稀疏性)”的非临时申请No.16/147,297的优先权，该申请被转让给本申请受让人并由此通过援引明确纳入于此。

技术领域

本公开的某些方面一般涉及机器学习，尤其涉及在深度神经网络(DNN)中利用激活稀疏性。

背景技术

可包括一群互连的人工神经元(例如，神经元模型)的人工神经网络是一种计算设备或者表示将由计算设备执行的方法。这些神经网络可被用于各种应用和/或设备，诸如网际协议(IP)相机、物联网(IoT)设备、自主车辆、和/或服务机器人。

卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)具有众多应用。具体而言，CNN已经在模式识别和分类领域中被广泛使用。

深度学习架构(诸如深度置信网络和深度神经网络(DNN))是分层神经网络架构。在这些分层神经网络架构中，第一层神经元的输出成为第二层神经元的输入，第二层神经元的输出成为第三层神经元的输入，依此类推。深度神经网络可被训练以识别特征阶层并且因此它们已被越来越多地用于对象识别应用。类似于卷积神经网络，这些深度学习架构中的计算可分布在处理节点群体上，其可被配置在一个或多个计算链中。这些多层架构可每次训练一层并可使用后向传播来微调。

具有卷积层或全连通层的深度学习神经网络实现了用于图像识别的处理、对象检测、以及自然语言处理。这些特征使得能够支持自主驾驶应用以及内容知悉式相机处理。深度卷积神经网络(DCN)在新兴的嵌入式、可穿戴和物联网(IoT)市场中具有应用前景。

尽管这些深度神经网络解决方案取得了优异的结果，但是其计算复杂度可能极其高。另外，模型的训练可能是有挑战性的。

概述

描述了一种在深度神经网络中利用激活稀疏性的方法。该方法包括检索激活张量和权重张量，其中该激活张量是稀疏激活张量。该方法还包括生成该激活张量的非零激活的经压缩激活张量，其中该经压缩激活张量具有比该激活张量少的列。该方法进一步包括对该经压缩激活张量和该权重张量进行处理以生成输出张量。

描述了一种用于利用激活稀疏性的深度神经网络。该深度神经网络包括乘法累加(MAC)硬件。该深度神经还包括耦合至该MAC硬件的(诸)处理器。该处理器被配置成检索激活张量和权重张量，其中该激活张量是稀疏激活张量。该处理器还被配置成生成包括该激活张量的非零激活的经压缩激活张量。该经压缩激活张量具有比该激活张量少的列。该处理器被进一步配置成对该经压缩激活张量和该权重张量进行处理以生成输出张量。

描述了一种用于利用激活稀疏性的深度神经网络。该深度神经网络包括用于检索激活张量和权重张量的装置，其中该激活张量是稀疏激活张量。该深度神经网络还包括用于生成包含该激活张量的非零激活的经压缩激活张量的装置。该经压缩激活张量具有比该激活张量少的列。该深度神经网络进一步包括用于对该经压缩激活张量和该权重张量进行处理以生成输出张量的装置。