[发明专利]一种基于忆阻器的神经网络在线学习系统

摘要

本发明公开了一种基于忆阻器的神经网络在线学习系统，在K位输入向量的脉冲编码方式上进行了改进，将每一位对应的编码脉冲扩展为2m个脉冲，这样总共所需的编码脉冲为K*2m个，并且每一位加权求和计算实际进行了2m次，最后在输出端进行求和取平均运算，通过此种方式减小了计算过程中偶然因素和噪声对计算结果的影响，从而提高计算的精度。忆阻器阵列同时用于前向的加权求和计算和神经网络中的权重大小存储，与离线学习不同，在线学习每输入信号，忆阻器阵列中的权重就要更新一次，通过将权重的改变量映射为脉冲个数，然后施加脉冲进行一次的权重写入操作，不仅能够提高神经网络训练的速度，而且能够降低硬件成本，减少神经网络训练的功耗。

主权项

1.一种基于忆阻器的神经网络在线学习系统，其特征在于，所述系统包括：输入模块，权重存储与计算模块，输出模块，计算模块，驱动电路；所述输入模块用于将输入信号转换为K位2进制数字，对每一位上的数值0和1用低电平0和高电平V_read表示，并将每一位对应脉冲编码的周期扩展为2^m个，形成连续的K*2^m个编码脉冲的电信号，V_read为忆阻器的读取电压，m为小于K的非负整数；所述权重存储与计算模块，一方面通过所述编码脉冲电信号与忆阻器阵列中器件电导值进行并行矩阵向量乘法运算，实现神经网络前向传播过程中的加权求和，并将加权求和后电流转化为数字信号，另一方面用于存储神经网络中权重值；所述输出模块用于将权重存储与计算模块输出的数字信号进行归一化，输出加权求和的实际数值；所述计算模块，一方面用于对输出模块输出的结果进行非线性的激活函数运算，另一方面用于在反向传播计算过程中，通过驱动电路读取权重存储与计算模块中存储的权重值，并计算权重的改变量；所述驱动电路，一方面用于读取权重存储与计算模块中忆阻器件的电导值并转换为权重值，另一方面用于将计算模块输出的权重的改变量转换映射为脉冲个数，并驱动权重存储与计算模块更新忆阻器电导值。