[发明专利]一种基于非易失存储器的卷积神经网络片上学习系统

说明书

本发明公开一种基于非易失存储器的卷积神经网络片上学习系统，包括：输入模块、卷积神经网络模块、输出模块以及权重更新模块。卷积神经网络模块的片上学习利用忆阻器电导随着施加脉冲进行改变的特性实现突触功能，卷积核值或突触权重值储存在忆阻单元中；输入模块将输入信号转换成卷积神经网络模块所需的电压信号；卷积神经网络模块将输入电压信号经过逐层计算转换，并将结果传入输出模块得到网络的输出；权重更新模块根据输出模块的结果调整卷积神经网络模块中忆阻器的电导值，实现网络卷积核值或突触权重值的更新。本发明旨在实现卷积神经网络的片上学习，实现了数据的在线处理，基于网络的高度并行性实现了速度快功耗低，硬件成本低的需求。

技术领域

本发明涉及人工神经网络技术领域，更具体地，涉及一种基于非易失存储器的卷积神经网络片上学习系统。

背景技术

人工神经网络是一种应用类似于大脑神经突触联接的结构，它是一种模仿动物神经网络行为特征，进行信息处理的数学模型进行分布式并行信息处理的算法数学模型。在众多机器学习的算法中，神经网络的适用性广，鲁棒性强。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

作为深度学习最重要的算法之一，卷积神经网络在大型图像识别中有很大的优越性。由多个卷积层和池化层组成的卷积神经网络(Convolutional Neural Network，CNN)体系结构可以提取有用的特征信息，而不需要大量的手动输入数据，这使得其在各种模式识别应用中的有很高的准确性，将其实现硬件化是一项很有前景的工作。现有的很多工作大多是基于CPU和GPU开展的，这样会导致很大的能耗，即遭遇所说的冯诺依曼瓶颈，所以急需寻找一种新型存储器件能模拟人脑，同时实现对信息的存储和处理。CNN利用输入图像的空间结构，比其他神经网络结构如完全连接的神经网络更适合于视觉任务。到目前为止，最大的挑战是将CNN集成到嵌入式系统中。要实现硬件化，突触是神经网络中最多的处理元件，在突触器件方面，已有很多器件被报道如磁性存储器，相变存储器和忆阻器等。这其中，由于忆阻器非易失，易集成，低功耗以及可实现多位存储，是非常有前途的候选者。忆阻器的模拟记忆功能类似于生物突触，其电导可以通过施加相对较大的电压偏置而连续改变，但在施加较小的偏压或无偏压时保持不变。忆阻器可以通过crossbar结构进行集成，使用这种结构可以实现接近或大于脑组织的突触密度。基于忆阻器的CNN可以使用易于实现的神经电路和辅助电路，同时可以降低能耗，以更高的速度进行计算并在物理上实现并行性。

发明内容

针对现有技术的缺陷，本发明的目的在于解决现有计算机实现卷积神经网络所遭遇的冯诺依曼瓶颈，其计算和存储的分离相当耗时低速，并且会导致巨大的硬件成本，同时利用计算机实现的片外学习只能实现预先训练的特定功能，不能实时灵活地解决问题的技术问题。

为实现上述目的，本发明提供一种基于非易失存储器的卷积神经网络片上学习系统，包括：输入模块、卷积神经网络模块、输出模块以及权重更新模块；

所述输入模块将输入信号转换成卷积神经网络模块所需的输入电压脉冲信号后传入所述卷积神经网络模块；

所述卷积神经网络模块对输入信号对应的输入电压脉冲信号经过逐层计算转换以完成片上学习得到输出信号，其利用忆阻器件的电导随着施加脉冲进行改变的电导调制特性实现突触功能，片上学习过程中用到的网络卷积核值或突触权重值储存在忆阻器件中；

所述输出模块将所述卷积神经网络模块产生的输出信号转换并发送给所述权重更新模块；

所述权重更新模块根据输出模块的结果来计算误差信号和调整忆阻器件的电导值，实现网络卷积核值或突触权重值的更新。

可选地，所述输入模块将外界输入信号转换成所述卷积神经网络所需的输入电压脉冲信号，输入信号与输入电压脉冲信号的脉冲宽度或脉冲幅度遵循正比例关系，且所述输入电压脉冲信号应小于忆阻器的擦写电压。