[发明专利]用于人工神经网络中比特深度减少的方法和系统

摘要

本发明提供的比特深度优化引擎降低了神经网络的硬件成本。当在训练程序期间将训练数据应用于神经网络时，产生精度成本和硬件成本。硬件复杂度成本生成器为靠近比特深度步阶的权重产生成本，其中比特深度步阶表示权重的二进制位数减少，例如从2^N减到2^N‑1，减少一个二进制比特。为每个权重产生成本梯度，靠近比特深度步阶的权重容易被选中，因为它们有大梯度，而远离比特深度步阶的权重有接近零的梯度。在优化期间减小选中的权重。在多个优化周期后，生成一个低比特深度神经网络，其中每个权重使用较少的二进制位，使得当在专用集成电路(ASIC)上制作低比特深度神经网络时具有较低的硬件成本。

主权项

1.一种集成电路(IC)产品，其通过以下方法制得，包括：将权重的一个初始集合应用于神经网络，所述权重说明所述神经网络中的节点之间的连接；(a)将训练数据应用于所述神经网络以产生神经网络结果；从所述神经网络结果产生一个精度成本；所述精度成本是表示当前周期的输出与预期结果有多接近的一个测量；产生所述权重的硬件复杂度成本，其中一个权重的硬件复杂度成本是从表示该权重所需的若干二进制比特生成；通过优先选择靠近比特深度步阶的权重来选择用于减小的权重，其中减小靠近比特深度步阶的权重会将表示所述权重所需的二进制比特数减少一个二进制比特；所述比特深度步阶表示权重的二进制位数减少；其中减少不靠近比特深度步阶的权重不会改变表示所述权重所需的二进制比特数；更新所述权重以生成更新的权重，其中所述更新的权重包括在所述比特深度步阶附近所选择的用于减小的所述权重；将所述更新的权重应用于所述神经网络，并从(a)重复直到达到目标权重和精度成本；当达到所述目标权重和精度成本时，通过修改所述神经网络以包括所述更新的权重，生成一个低比特深度神经网络；将所述低比特深度神经网络和所述更新的权重转换为一个制造控制文件；将所述制造控制文件输入到一个由计算机控制的制造机器中；使用一个制造过程来制造具有所述低比特深度神经网络的IC产品；所述制造过程包括使用由所述计算机控制的制造机器，所述计算机控制的制造机器接收所述制造控制文件，所述制造控制文件详细限定具有所述低比特深度神经网络的IC产品；由此，所述IC产品具有通过优先选择在比特深度步阶附近的用于减小的权重而生成的所述低比特深度神经网络。