[发明专利]基于忆阻器老化感知的神经网络重训练和梯度稀疏方法

权利要求书

1.基于忆阻器老化感知的神经网络重训练和梯度稀疏方法，其特征在于，该方法包括以下步骤：

S1采集忆阻器的老化信息，计算老化后的忆阻器的有效可编程电阻范围：

其中，和分别是交叉阵列的忆阻器老化后的可编程电阻的最大值和最小值，和分别是全新忆阻器所能够存储的最大可编程电阻和最小可编程电阻，G(T,t)和H(T,t)为Arrhenius老化方程，其参数可以通过测量数据提取得到；

S2基于S1求得的可编程电阻范围，分别求倒数得到老化后的忆阻器可编程电导范围，最大值和最小值分别为和并按照下述公式计算要执行的神经网络任务中可编程权重参数的最大值和最小值：

其中，和分别是交叉阵列中全新忆阻器所能存储的最大电导和最小电导，和分别为与交叉阵列相对应的可编程权重的最大值和最小值，W_max和W_min分别是神经网络初始模型中突触权重的最大值和最小值；

S3基于神经网络可编程权重参数的最值，对已有的神经网络模型进行重训练；

S4将调整后的神经网络突触权重参数映射到基于忆阻器的交叉阵列，映射为基本记忆单元的电阻值；

S5根据神经网络后向传播方法计算得到的导数的正负，将导数分为两组，分别求正负两组导数的平均值，并将绝对值低于该平均值的导数忽略，即置为0；再按照当前导数值对对应忆阻器所存储的电阻进行硬件在线微调，即对忆阻器施加与导数符号相对应的正负电压：

其中，grad_ij是神经网络损失函数值Loss对权重w_ij求导得到的导数，Loss是硬件推理结果与实际的损失函数值，V₀是在线调整时对忆阻器记忆单元施加的标准电压，V_ij是交叉阵列第i行第j列的忆阻器记忆单元所对应的施加电压；

重复该过程，直到其在线硬件推理正确率满足要求，该要求由人为指定。

2.根据权利要求1所述的基于忆阻器老化感知的神经网络重训练和梯度稀疏方法，其特征在于，S3具体过程包括：

将超出可编程参数范围的权重进行截断，直接赋值为距离当前值最近的最大权重值或者最小权重值，并在当前截断后的参数的基础上对神经网络进行后向传播求导，并继续调整参数；一直重复上述操作，直到参数满足可编程权重范围，并且仿真推理正确率并无明显降低时为止。

3.根据权利要求2所述的基于忆阻器老化感知的神经网络重训练和梯度稀疏方法，其特征在于，S4具体包括：

S4.1按照权重和电导的映射关系，计算出神经网络所有突触权重W所对应的交叉阵列所有忆阻器应存储的电导值G，映射关系为：

其中，W_max和W_min分别是神经网络模型中突触权重的最大值和最小值，G_max和G_min分别是忆阻器的可编程有效电导的最大值和最小值；

S4.2根据电导和电阻的倒数关系，将计算得到的电导，求倒数，得到交叉阵列所有忆阻器应存储的电阻值：R＝1/G，且有R_max＝1/G_min和R_min＝1/G_max，R_max和R_min分别是忆阻器的可编程电阻的最大值和最小值；

S4.3对与神经网络突触位置对应的忆阻器存储单元施加电压，使其存储与计算得到的电阻R所对应的最近的量化电阻。

4.根据权利要求1-3中任一所述的基于忆阻器老化感知的神经网络重训练和梯度稀疏方法，其特征在于，S2中，计算神经网络权重可编程最大值和最小值时，是按照当前各层神经网络的权重分别查找各层的最大最小值，以及每层神经网络所对应的忆阻器当前可编程电导的最值，计算得到的。