[发明专利]基于定点运算的神经网络

权利要求书

1.一种专用处理设备，包括：

存储单元，被配置为以第一定点格式存储神经网络的层的参数，所述第一定点格式的所述参数具有预定义的位宽；

处理单元，耦合至所述存储单元并且被配置为执行动作，所述动作包括：

接收对所述层的输入；

从所述存储单元读取所述层的所述参数；以及

基于所述层的所述输入和所读取的所述参数，通过定点操作来计算所述层的输出，

其中所述层包括卷积层，并且所述动作还包括：

在所述卷积层的输出处接收对所述卷积层的反向输入，所述反向输入为所述神经网络的损失函数对所述卷积层的所述输出的梯度；

基于所述反向输入来计算所述神经网络的损失函数对所述卷积层的所述参数的梯度；

通过线性量化方法将所述神经网络的损失函数对所述卷积层的所述参数的梯度转换为第二定点格式，所述第二定点格式的比例因子基于所述损失函数对所述卷积层的所述参数的所述梯度的范围而可更新；以及

基于所述第二定点格式的所述梯度，更新所述第一定点格式的所述参数。

2.根据权利要求1所述的专用处理设备，其中所述第一定点格式的比例因子基于经更新的所述参数的范围而可更新。

3.根据权利要求2所述的专用处理设备，其中更新所述参数仅包括相应的定点操作。

4.根据权利要求1所述的专用处理设备，其中计算所述层的输出包括：

对所述卷积层的所述输入和所述参数的卷积进行归一化以获得归一化输出，所述归一化仅包括相应的定点操作。

5.根据权利要求4所述的专用处理设备，其中计算所述卷积层的输出还包括：

将所述归一化输出转换为第三定点格式的归一化输出，所述第三定点格式的比例因子基于所述第三定点格式的所述归一化输出的范围可更新。

6.根据权利要求4所述的专用处理设备，其中所述动作还包括：

在所述卷积层的输出处获取对所述卷积层的反向输入，所述反向输入为所述神经网络的损失函数对所述卷积层的输出的梯度；

基于所述反向输入来计算所述损失函数对所述卷积的梯度；以及

将所述损失函数对所述卷积的梯度转换为第四定点格式，所述第四定点格式的比例因子基于所述损失函数对所述卷积的梯度的范围而可更新。

7.根据权利要求1所述的专用处理设备，其中所述专用处理设备是现场可编程门阵列(FPGA)、专用集成电路(ASIC)、具有定制处理单元的处理器或者图形处理单元(GPU)。

8.一种由专用处理设备执行的方法，所述专用处理设备包括存储单元和处理单元，所述方法包括：

接收对神经网络的层的输入；

从所述专用处理设备的所述存储单元读取所述层的参数，所述参数以第一定点格式存储在所述存储单元中并且具有预定义的位宽；以及

由所述处理单元基于所述层的所述输入和所读取的所述参数通过定点操作来计算所述层的输出，其中所述层包括卷积层，并且所述方法还包括：

在所述卷积层的输出处接收对所述卷积层的反向输入，所述反向输入为所述神经网络的损失函数对所述卷积层的所述输出的梯度；

基于所述反向输入来计算所述神经网络的损失函数对所述卷积层的所述参数的梯度；

通过线性量化方法将所述神经网络的损失函数对所述卷积层的所述参数的梯度转换为第二定点格式，所述第二定点格式的比例因子基于所述损失函数对所述卷积层的所述参数的所述梯度的范围而可更新；以及

基于所述第二定点格式的所述梯度，更新所述第一定点格式的所述参数。

9.根据权利要求8所述的方法，其中所述第一定点格式的比例因子基于经更新的所述参数的范围而可更新。

10.根据权利要求9所述的方法，其中更新所述参数仅包括相应的定点操作。