[发明专利]基于忆阻器老化感知的神经网络重训练和梯度稀疏方法

说明书

本发明公开了一种基于忆阻器老化感知的神经网络重训练和梯度稀疏方法，涉及延长忆阻器工作寿命和提高交叉阵列推理正确率的设计。对于交叉阵列老化后硬件在线推理正确率降低的问题，通过利用已知的忆阻器老化信息，计算得到当前老化情况下的可编程权重的最值，依此对神经网络模型进行重训练，从而提高当前硬件在线推理的正确率；重训练过程中，将超出可编程权重最值的网络权重进行自动截断；对于忆阻器寿命有限的问题，利用神经网络导数的稀疏性，在硬件调整过程中，将绝对值小的导数抛弃，从而保证小导数所对应的忆阻器不被施加电压，阻止忆阻器的老化过程，延长其使用寿命。

技术领域

本发明涉及存算一体化领域，特别涉及一种基于忆阻器老化感知的神经网络重训练和梯度稀疏方法，对提高老化忆阻器交叉阵列的硬件推理正确率并延长其使用寿命具有帮助。

背景技术

随着大数据时代的到来，非易失性器件，如忆阻器等，为实现高效、低功耗的存内计算带来了可能性。现有研究已经证实了基于忆阻器的交叉阵列电路在神经形态加速计算上的巨大潜力。将训练好的神经网络突触权值映射为交叉阵列的电阻时，需要施加高电压脉冲实现编程。由于编程映射时的量化会造成硬件推理正确率下降，还需要施加微调电压调整忆阻器所存储的电阻以得到满足需求的推理正确率。重复施加电压会造成忆阻器内部细丝发生不可逆的变化，这种现象称为老化。老化后的忆阻器可编程范围缩小，从而目标权重的值极有可能在编程映射后落在忆阻器实际的有效范围之外，造成极大的编程误差，进一步造成神经网络的正确率下降，进而需要更多次的施加电压来进行硬件在线调整，进一步加剧忆阻器的老化。

针对忆阻器的老化问题，目前已有研究能够在器件级通过调整编程电压或者改变级联电阻提高忆阻器的耐久力。也有研究为缓解基于忆阻器的交叉阵列的老化现象，提出交换行列，对神经网络进行偏斜训练的方法，从而提高整个器件的使用寿命。但以上方法均未能充分利用器件当前的老化情况这一信息，并且面对忆阻器老化造成的硬件推理正确率下降没有提出很好的改进。

综上，提供基于忆阻器老化感知的神经网络重训练和梯度稀疏方法，利用已知的老化信息提高老化忆阻器交叉阵列的硬件推理正确率并延长其使用寿命，成为目前的重要技术问题。

发明内容

本发明的目的在于针对目前忆阻器交叉阵列的老化情况，提供了基于忆阻器老化感知的神经网络重训练和梯度稀疏方法，通过利用忆阻器的老化信息，对神经网络重训练，并采用梯度稀疏化技术进行在线硬件调整，提高了老化情况下交叉阵列的硬件推理正确率和忆阻器交叉阵列的使用寿命。

本发明的目的是通过以下技术方案来实现的：

基于忆阻器老化感知的神经网络重训练和梯度稀疏方法，该方法包括以下步骤：

S1采集忆阻器的老化信息，计算老化后的忆阻器的有效可编程电阻范围：

其中，和分别是交叉阵列的忆阻器老化后的可编程电阻的最大值和最小值，和分别是全新忆阻器所能够存储的最大可编程电阻和最小可编程电阻，G(T,t)和H(T,t)为Arrhenius老化方程，其参数可以通过测量数据提取得到；

S2基于S1求得的可编程电阻范围，分别求倒数得到老化后的忆阻器可编程电导范围，最大值和最小值分别为和并按照下述公式计算要执行的神经网络任务中可编程权重参数的最大值和最小值：

其中，和分别是交叉阵列中全新忆阻器所能存储的最大电导和最小电导，和分别为与交叉阵列相对应的可编程权重的最大值和最小值，W_max和W_min分别是神经网络初始模型中突触权重的最大值和最小值；

S3基于神经网络可编程权重参数的最值，对已有的神经网络模型进行重训练；