[发明专利]一种模拟神经网络处理器的误差校准方法及装置

说明书

本发明实施例提供一种模拟神经网络处理器的误差校准方法及装置，所述方法包括：若检测到算法更新和/或误差参数调整，解析所述NN的网络结构，以获取所述网络结构中的全连接层的可训练权重参数；采用随机梯度下降SGD算法对所述可训练权重参数进行训练；其中，在学习过程中的损失值和梯度采用对数量化；所述学习过程是在数字域进行的；采用移位运算代替所述学习过程中的反向传播和可训练权重参数更新使用的乘法运算；存储学习好的权重参数，以供所述NN根据所述权重参数校准所述处理器的误差。所述装置执行上述方法。本发明实施例提供的模拟神经网络处理器的误差校准方法及装置，能够降低模拟NN处理器的能量和资源消耗，从而提高模拟NN处理器的效率。

技术领域

本发明实施例涉及误差校准技术领域，具体涉及一种模拟神经网络处理器的误差校准方法及装置。

背景技术

由于模拟电路与数字电路相比的无时钟特性使得其具有功耗低、芯片尺寸小等特点，使得模拟神经网络(Neural Netowrk，简称“NN”)处理器得到了广泛应用。

然而，尽管模拟NN处理器具有较高的能效，但系统和器件的非线性使得模拟NN处理器在处理精度的问题上依然有待改进，导致误差的来源主要来自于制造工艺的变化、电压或温度的偏移以及各种噪声源等。虽然模拟NN算法可以在一定程度上能够容忍这些缺陷，但由于误差累积，模拟NN处理器仍然存在不可忽视的准确度下降等一系列问题。

神经网络算法在某种程度上具有容忍错误的学习能力，它们可以获得输入数据的一些固定模式，甚至是计算错误。因此，重新训练网络是一种有效的方法，可以减少各种误差，例如工艺偏差(Process Variations，简称“PV”)对系统的影响，而不会增加推理通道的额外消耗。然而，在线重新训练所有网络层是一项非常复杂的任务，需要高精度的计算，并且需要花费大量额外的计算单元来实现收敛，导致模拟NN处理器的能量和资源消耗过大，从而大大降低了模拟NN处理器的效率。

因此，如何避免上述缺陷，降低模拟NN处理器的能量和资源消耗，从而提高模拟NN处理器的效率，成为亟须解决的问题。

发明内容

针对现有技术存在的问题，本发明实施例提供一种模拟神经网络处理器的误差校准方法及装置。

第一方面，本发明实施例提供一种模拟神经网络处理器的误差校准方法，所述方法包括：

若检测到算法更新和/或误差参数调整，解析所述NN的网络结构，以获取所述网络结构中的全连接层的可训练权重参数；

采用随机梯度下降SGD算法对所述可训练权重参数进行训练；其中，在学习过程中的损失值和梯度采用对数量化；所述学习过程是在数字域进行的；

采用移位运算代替所述学习过程中的反向传播和可训练权重参数更新使用的乘法运算；

存储学习好的权重参数，以供所述NN根据所述权重参数校准所述处理器的误差。

第二方面，本发明实施例提供一种模拟神经网络处理器的误差校准装置，所述装置包括：

获取单元，用于若检测到算法更新和/或误差参数调整，解析所述NN的网络结构，以获取所述网络结构中的全连接层的可训练权重参数；

量化单元，用于采用随机梯度下降SGD算法对所述可训练权重参数进行训练；其中，在学习过程中的损失值和梯度采用对数量化；所述学习过程是在数字域进行的；

运算单元，用于采用移位运算代替所述学习过程中的反向传播和可训练权重参数更新使用的乘法运算；

存储单元，用于存储学习好的权重参数，以供所述NN根据所述权重参数校准所述处理器的误差。

第三方面，本发明实施例提供一种电子设备，包括：处理器、存储器和总线，其中，