[发明专利]针对卷积神经网络输入层的位解释

说明书

提供了针对卷积神经网络输入层的位解释。为了在边缘设备（例如，如Apple Watch或FitBit这样的可穿戴设备）上高效执行深度卷积神经网络（CNN），可能有必要将网络参数的位宽度减少下至1位。CNN的第一层处的二进制化典型地尚未被执行，这是因为它可能导致输入数据的输出验证误差方面的增加。所提供的方法和系统包括二进制输入层（BIL），该二进制输入层通过学习位特定的二进制权重来接受二进制输入数据。与使用浮点输入数据执行的CNN模型形成对照，通过使用二进制输入数据来执行CNN，本方法和系统可以导致在所消耗的芯片面积和所使用的能量方面的减少。

技术领域

以下内容总地涉及卷积神经网络，并且更具体地涉及卷积神经网络的第一层的二进制化（binarization）。

背景技术

卷积神经网络（CNN）是一类深度前馈人工神经网络，其最通常被应用于包括计算机视觉和语音识别在内的许多不同应用。先前的CNN模型典型地需要高能量消耗、存储器存储和芯片面积来执行。因此，需要存在如下CNN：该CNN不需要那么多的芯片面积和存储器，并且在执行时不需要大量能量。

发明内容

在一个实施例中，公开了一种用于实现接收输入数据的卷积神经网络（CNN）的系统和方法。然后，CNN可以在不提供预定义的序数结构的情况下，通过应用学习位特定相关性的按位加权算法来对输入数据进行过滤，以生成直接二进制输入数据（DBID）。所应用的按位加权算法可以是每个单独的输入值与被应用于该输入值的每一位的位特定权重相乘的所得总和。然后DBID可以被提供给CNN内的一个或多个卷积层。

DBID也可以被提供给卷积层，而不对输入数据执行附加的归一化。在一方面，CNN可以进一步包括一个或多个全连接层和柔性最大（softmax）层。在另一方面，CNN还可以包括具有一个或多个卷积核（K）滤波器的二进制输入层，该滤波器具有至少为1×1阵列的滤波器大小。

附图说明

图1是具有浮点或定点整数输入层的卷积神经网络的图；

图2是3通道彩色图像数据集的图示；

图3是具有直接二进制输入层的卷积神经网络的图；

图4是具有二进制输入层的卷积神经网络的图；以及

图5是直接二进制输入数据方法的图形图示。

具体实施方式

根据需要，在本文中公开了详细的实施例；然而，要理解的是，所公开的实施例仅仅是示例性的，并且可以以各种和替代的形式来体现。各图不一定是按比例的；一些特征可能被夸大或最小化以示出特定组件的细节。因此，本文中所公开的具体结构和功能细节将不解释为限制性的，而是仅仅作为用于教导本领域技术人员以各种方式采用本实施例的代表性基础。

在神经网络领域中，对于包括计算机视觉（例如，对象识别或面部识别）和语音识别在内的各种各样的应用，已经增加了对深度卷积神经网络（CNN）的使用。参考图1，CNN100可以包括：输入数据110；一个或多个卷积层120-140；一个或多个池化层（poolinglayer）150-170；全连接层160；以及柔性最大层170。