[发明专利]用于生成神经网络的二值化权重的处理器和方法

说明书

一种用于生成神经网络的二值化权重的处理器。所述处理器包括：二值化方案生成模块，所述二值化方案生成模块被配置为：针对从神经网络的一个或多个层的一组输入权重获得的权重分组，生成表示所述权重分组的一个或多个候选二值权重串；二值化方案选择模块，所述二值化方案选择模块被配置为至少部分地基于根据预定编码方法表示所述一个或多个候选二值权重串所需的数据比特数，从所述一个或多个候选二值权重串中选择表示所述权重分组的二值权重串；以及权重生成模块，所述权重生成模块被配置为输出表示用于表示所述权重分组的所述选定的二值权重串的数据。

技术领域

本披露涉及一种用于生成神经网络的二值化权重的处理器和方法。

背景技术

当前，已经针对不同的应用开发了不同的神经网络架构。对于使用相同架构的神经网络，具有更多层和更多参数的网络通常会在神经网络所执行的任务中实现更高的准确性。例如，基于VCG-16的卷积神经网络(CNN)(具有16层，1.38亿个参数)通常可以实现比基于AlexNet的CNN(具有8层和6000万个参数)更高的准确性，而后者通常可以实现比基于LeNet-5(具有5层和60,000个参数)的CNN更高的准确性。同样的原则适用于更现代的架构，诸如ResNet和DenseNet。

神经网络、尤其是卷积神经网络的问题在于，这些网络所执行的运算通常会消耗大量的硬件资源，这阻碍了此类网络在资源受限的环境(例如，小型、电池供电的设备)中的应用。例如，对卷积层中的浮点权重执行的乘积累加(MAC)运算可能需要大量的数据处理和存储器资源。此外，同样需要大量的存储器资源来存储神经网络的每个卷积层或全连接层中的权重。然而，根据神经网络的实施环境，可用于实施神经网络的此类硬件资源的数量通常受到物理限制或实际情况限制。

此前已经提出了几种方法来帮助减少神经网络所需的硬件资源。此类方法包括，例如，基于权重大小修剪网络中的连接，以及将权重从原始浮点值(例如，长度为10到64比特)量化为预定比特长的固定点值(例如，长度为16比特、8比特、4比特、2比特或1比特)。另一种方法是开发二值神经网络(BNN)架构，该架构使用二值化权重来处理二值化数据输入。BNN中的运算通常更容易在硬件中实现，其中，例如，可以针对相关二值权重执行更简单的异或非(XNOR)逻辑运算，而无需对二值权重执行MAC运算。

当前，已经提出了几种方法来减少BNN的资源需求。例如，可以确定每个权重的翻转频率，其中，可以修剪翻转频率高于某预定阈值的权重(因为其对BNN所产生的输出影响有限)。在另一示例中，可以对二值卷积神经网络(BCNN)的权重矩阵进行修剪然后进行压缩。从权重矩阵的一端开始，将二值权重矩阵中的非零比特逐步修减(或更改)为零比特，并在当二值权重矩阵的更改导致识别准确性大大降低时停止。然后权重矩阵中具有相同值的权重的连续序列可以被压缩(例如，映射到表示不同长度的连续零比特序列的预定义值)。在又一示例中，可以估计BNN中每个权重的敏感性，然后基于阈值将每个权重划分为敏感权重和非敏感权重。该阈值是基于BNN中由存储在以接近/低于阈值电压运行的非可靠存储器中的非敏感二值化权重值的变化引起的误差确定的，并对该阈值进行调整以实现一组最佳的非敏感权重。

在以上方法中，生成二值权重矩阵，然后分开进行处理以实现压缩。此类矩阵是在不考虑所得矩阵的压缩特性的情况下生成的。此外，在以上方法中，权重矩阵只能包含两个二元值之一。这些方法没有考虑给定二值权重矩阵的细微变化的可能性(当考虑与每个权重相关联的概率时)，其中，这些细微变化中的某一些可以比其他变化更有利于被压缩。

本披露旨在解决上述问题中的一个或多个问题。具体地，本披露的代表性实施例旨在提供一种通过考虑输入权重的概率来生成具有理想压缩特性的二值权重矩阵的改进方式。

发明内容

根据本披露的第一方面，提供了一种用于生成神经网络的二值化权重的处理器，其中，所述处理器包括：