[发明专利]实现和执行神经网络的方法及计算机可读介质

说明书

相关申请的交叉引用

本申请要求于2016年5月13日提交的美国临时申请第62/336,493号、于2017年1月31日提交的美国申请第15/421,423号、于2017年4月13日提交的韩国专利申请第10-2017-0048036号的权益，其内容通过引用并入本文。

技术领域

本发明的实施例通常涉及神经网络。

背景技术

人工神经网络(NN)可以被设计和训练以执行广泛的功能。NN的示例应用包括图像处理、语音识别、数据处理和控制以及其他应用。NN的模型可以包括大量层和参数(权重)。具有高度并行架构(诸如图形处理单元(GPU))的处理器可以促进大型NN的有效实现。

附图说明

图1是示出根据实施例的神经网络的特征图和权重的重排序的框图。

图2示出了根据实施例的神经网络的一部分。

图3示出了根据实施例的神经网络的一部分。

图4示出了根据实施例的重排序神经网络的方法。

图5示出了根据实施例的执行重排序神经网络的方法。

图6示出了根据实施例的包括修剪的重排序神经网络的方法。

图7示出了根据实施例的执行重排序神经网络以跳过零值权重的方法。

图8A和图8B示出了根据实施例的重排序以改进负载平衡。

图9A和图9B示出了根据实施例的权重的霍夫曼编码。

图10示出了根据实施例的神经网络中的掩码流解码和值流解码。

具体实施方式

图1是根据实施例的高级框图。在一个实施例中，神经网络(NN)开发框架105为网络的所有层生成一组权重。在一个实施例中，权重的附加处理在计算机系统上离线执行。在一个实施例中，执行可选的后处理110，其包括修剪(pruning)，其通过将它们设置为零(0)来消除许多权重，如下面更详细地描述的。执行特征图的重排序115，其导致具有重排序的权重的等效网络。重排序的权重被压缩120。对应于原始训练的神经网络的重排序的版本编译优化的网络125。在一个实施例中，可以实现利用压缩的权重的神经网络来利用并行处理。另外，利用压缩的权重的神经网络可以被实现为在到并行处理器的所有输入权重值都具有零值的情况下不需要处理。

图2是根据实施例的利用压缩的权重的神经网络的一部分的示例的框图。提供存储器(例如，静态随机存取(SRAM)存储器)以存储压缩的权重和输入特征图(IFM)。在一个实施例中，控制单元包括：专用控制逻辑，用于控制并行单元；以及中央处理单元(CPU)，其结合工作以控制SRAM存储器、乘数累加数组(multiply-accumulate array，MAA)单元和输入数据路径(IDP)单元的操作。在诸如卷积NN的许多NN中，很多计算可以被实现为基于可以使用MAA单元计算的操作的操作。

在一个实施例中，每个IDP单元接收压缩的权重并输入特征图数据，并将解压缩的权重和IFM数据输出到MAA单元。例如，每个IDP可以包括至少一个解压缩器和缓冲器来缓冲输入数据。在一个实施例中，MAA的累加的结果对应于输出特征图数据(OFM)和中间结果。可以提供一个或多个单元(在图2中标记为DRU)以支持对MAA单元的输出的附加处理功能，诸如尺度变换、添加偏置、应用激活功能和池化(pooling)。在一个实施例中，MAA从每个IDP接收IFM以及非零权重。

在一个实施例中，IDP的数量是8个，但是更一般地可以使用不同数量的IDP。在一个实施例中，每个IDP单元并行运行，每个向MAA计算单元供应一个非零权重和一组特征图值(作为IFM的子集)。在一个实施例中，输入单元在多个周期中迭代IFM的子集和对应的权重，以并行地生成一组OFM。

图3更详细地示出了根据实施例的馈送MAA单元的一些数据流的示例。为了说明的目的，示出了8个并行的IDP和16个MAA。然而，更一般地，可以配置任意数量的单元来支持并行处理。例如，使用8个SRAM单元，每个单独的SRAM存储权重的一部分(例如，1/8)。在一个实施例中，单独的IDP向MAA提供一个非零权重，并向MAA中的每个提供一个IFM(例如，4×4块)。