[发明专利]用于人工神经网络中比特深度减少的方法和系统

权利要求书

1.一种集成电路(IC)产品，其通过以下方法制得，包括：

将权重的一个初始集合应用于神经网络，所述权重说明所述神经网络中的节点之间的连接；

(a)将训练数据应用于所述神经网络以产生神经网络结果；

从所述神经网络结果产生一个精度成本；所述精度成本是表示当前周期的输出与预期结果有多接近的一个测量；

产生所述权重的硬件复杂度成本，其中一个权重的硬件复杂度成本是从表示该权重所需的若干二进制比特生成；

通过优先选择靠近比特深度步阶的权重来选择用于减小的权重，其中减小靠近比特深度步阶的权重会将表示所述权重所需的二进制比特数减少一个二进制比特；所述比特深度步阶表示权重的二进制位数减少；

其中减少不靠近比特深度步阶的权重不会改变表示所述权重所需的二进制比特数；

更新所述权重以生成更新的权重，其中所述更新的权重包括在所述比特深度步阶附近所选择的用于减小的所述权重；

将所述更新的权重应用于所述神经网络，并从(a)重复直到达到目标权重和精度成本；

当达到所述目标权重和精度成本时，通过修改所述神经网络以包括所述更新的权重，生成一个低比特深度神经网络；

将所述低比特深度神经网络和所述更新的权重转换为一个制造控制文件；

将所述制造控制文件输入到一个由计算机控制的制造机器中；

使用一个制造过程来制造具有所述低比特深度神经网络的IC产品；所述制造过程包括使用由所述计算机控制的制造机器，所述计算机控制的制造机器接收所述制造控制文件，所述制造控制文件详细限定具有所述低比特深度神经网络的IC产品；

由此，所述IC产品具有通过优先选择在比特深度步阶附近的用于减小的权重而生成的所述低比特深度神经网络。

2.根据权利要求1所述的集成电路产品，其中制造所述IC产品还包括：

将具有所述低比特深度神经网络的所述IC产品和所述更新的权重转换为一个供光掩膜写入机器使用的设计文件；

在所述设计文件的控制下使用所述光掩膜写入机器，以将所述IC产品的图像写入多个光掩膜，所述图像包括所述低比特深度神经网络的图像；和

在一个IC制造工艺步骤期间，使用所述多个光掩膜以将所述图像印刷到半导体衬底上，从而在所述半导体衬底上构建所述IC产品的多个晶片；

由此，所述IC产品具有通过优先选择比特深度步阶附近的用于减小的权重而生成的所述低比特深度神经网络。

3.根据权利要求1所述的集成电路产品，还包括：

产生一个用于权重的硬件复杂度成本梯度，与远离比特深度步阶的权重相比，比特深度步阶附近的权重具有更大的硬件复杂度成本梯度值。

4.根据权利要求3所述的集成电路产品，其中通过优先选择比特深度步阶附近的权重来选择用于减小的权重还包括：

检查所述硬件复杂度成本梯度，相比于没有被选择来用于减小的权重，选择具有较大硬件复杂度成本梯度的权重用于减小；

其中，选择的用于减小的权重的硬件复杂度成本梯度的平均值大于没有选择的权重的硬件复杂度成本梯度的平均值。

5.根据权利要求4所述的集成电路产品，其中选择的用于减小的权重的硬件复杂度成本梯度的平均值，至少是没有选择的权重的硬件复杂度成本梯度的平均值的两倍。

6.根据权利要求4所述的集成电路产品，其中表示所述权重所需的二进制比特的变化产生一个高的硬件复杂度成本梯度，而当所述权重改变、但表示所述权重所需的二进制比特数不发生变化时，产生一个低的硬件复杂度成本梯度。

7.根据权利要求1所述的集成电路产品，其中所述目标权重和精度成本是所述精度成本和所述硬件复杂度成本的一个组合。