[发明专利]一种基于忆阻器的神经网络在线学习系统

说明书

本发明公开了一种基于忆阻器的神经网络在线学习系统，在K位输入向量的脉冲编码方式上进行了改进，将每一位对应的编码脉冲扩展为2^m个脉冲，这样总共所需的编码脉冲为K*2^m个，并且每一位加权求和计算实际进行了2^m次，最后在输出端进行求和取平均运算，通过此种方式减小了计算过程中偶然因素和噪声对计算结果的影响，从而提高计算的精度。忆阻器阵列同时用于前向的加权求和计算和神经网络中的权重大小存储，与离线学习不同，在线学习每输入信号，忆阻器阵列中的权重就要更新一次，通过将权重的改变量映射为脉冲个数，然后施加脉冲进行一次的权重写入操作，不仅能够提高神经网络训练的速度，而且能够降低硬件成本，减少神经网络训练的功耗。

技术领域

本发明属于人工神经网络硬件领域，更具体地，涉及一种基于忆阻器的神经网络在线学习系统。

背景技术

为了应对传统的基于CMOS技术的神经网络硬件平台在面积、速度、功耗以及“冯·诺依曼瓶颈”等方面的挑战，研究人员希望利用非易失存储器件忆阻器来构建神经网络硬件加速器，从而大幅度的提高神经网络硬件系统的性能。忆阻器用于实现神经网络硬件加速器，一方面是利用忆阻器的模拟电导特性来更好的表示突触或神经网络算法中的权重；另一方面是基于忆阻器的交叉阵列能够实现并行的矩阵向量乘法运算和权重更新。

目前，基于忆阻器的神经网络研究主要有三个方向：①基于忆阻器的脉冲神经网络，主要采用STDP无监督或STDP有监督的学习算法来训练神经网络，但是受制于神经科学的研究进展，如何有效的根据STDP规则来更新神经网络中的权重依然是脉冲神经网络需要探索和解决的主要问题。②基于忆阻器的多层感知机和卷积神经网络，其输入信息采用基于脉冲频率的编码方式，突触权重的更新方式采用更加有效的有监督的反向传播算法，训练误差能够从输出神经元层逐层反馈到输入神经元层。基于这种信息编码和权重学习规则的神经网络在训练与推断的过程中涉及大量的矩阵向量乘法运算。为了加速矩阵向量乘法运算(乘法和累加计算)以及最小化硬件中数据移动的能量消耗，基于忆阻器的硬件神经网络，通过欧姆定律和基尔霍夫电流定律，在忆阻器交叉阵列中实现并行的矩阵向量乘法运算以及原位的权重更新与存储功能。但是基于不同的输入信息编码方式以及外围神经元电路的设计方式，在实现神经网络推断和权重更新方式上具有很大的不同。③基于忆阻器的二值神经网络，它是在CNN的基础上对权重和激活函数做二值处理，即：将权值限制为+1和-1，激活函数输出值限制为+1和0或者+1和-1。由于二值神经网络在训练的过程中仍然需要对实数型的权值和激活函数值进行求梯度，并以此更新权值，所以基于忆阻器的二值神经网络主要用于离线学习过程。相对于忆阻器不稳定的模拟特性而言，实现可区分的两个权值状态的忆阻器技术要稳定很多。因此，基于忆阻器的二值神经网络实现方案在短期内更具可行性。

然而，上述基于忆阻器的神经网络大多只能进行离线的学习过程，不能够适用于权重反复更新的在线训练学习任务。

发明内容

针对现有技术的缺陷，本发明的目的在于解决现有技术基于忆阻器的神经网络存在速度慢，无法适用于在线学习的技术问题。

为实现上述目的，本发明实施例提供了一种基于忆阻器的神经网络在线学习系统，所述系统包括：输入模块，权重存储与计算模块，输出模块，计算模块，驱动电路；

所述输入模块用于将输入信号转换为K位2进制数字，对每一位上的数值0和1用低电平0和高电平V_read表示，并将每一位对应脉冲编码的周期扩展为2^m个，形成连续的K*2^m个编码脉冲的电信号，V_read为忆阻器的读取电压，m为小于K的非负整数；

所述权重存储与计算模块，一方面通过所述编码脉冲电信号与忆阻器阵列中器件电导值进行并行矩阵向量乘法运算，实现神经网络前向传播过程中的加权求和，并将加权求和后电流转化为数字信号，另一方面用于存储神经网络中权重值；