[发明专利]一种基于电导可调器件的神经网络训练操作系统及方法

说明书

本发明公开一种基于电导可调器件的神经网络训练操作系统及方法，所述系统包括：第一电压转换模块用于将上一网络层的正向输出信号转换为输入电压信号；可调电导模块用于处理输入电压信号，输出第一电流信号，同时用于处理反向输入电压信号，输出第二电流信号；第一比较模块用于将第一电流信号进行比较；采样保持模块用于对比较结果进行采样，输出当前网络层的正向输出信号和导数信号；乘积模块用于将下一网络层的反向误差信号与导数信号相乘；第二电压转换模块将相乘结果转换为反向输入电压信号；第二比较模块将第二电流信号进行比较，输出当前网络层的反向误差信号。上述方法使网络层之间的信息传递均为二值化形式，节约了计算资源并减少了功耗。

技术领域

本发明涉及集成电路技术领域，特别涉及一种基于电导可调器件的神经网络训练操作系统及方法。

背景技术

近年来人工智能的进步离不开以深度学习为代表的人工神经网络(Artificialneural network，简称神经网络)的发展。由于其规模的不断扩大，人工神经网络越来越依赖数据规模和计算能力的提升。但是，现有基于冯·诺依曼体系构架的计算机系统所能提供的数据处理和计算能力面临越来越多的瓶颈。基于新型电子器件和新型计算构架的人工智能系统成为近年来科学和技术研究的热点。

其中，神经网络由多层相互连接的网络节点层组成。信息由输入层逐层正向传播到输出层，以完成对信息的处理，实现识别、分类等认知功能，这一过程称为推理过程。为了实现准确地推理，神经网络需要在输入大量标记数据的基础上，按照特定规则(即学习算法)调整各网络层中节点连接的权重，这一过程称为训练或者学习过程。通常可以以权重矩阵的形式描述某一层神经网络中大量输入节点和输出节点之间的高密度连接。

并且，在信息的正向传播过程中，神经网络中每一层的输入节点的信息集合可以看做一个向量。这个向量与权重矩阵相乘的结果是另外一个向量，即输出向量。输出向量经过激活函数处理后的信息，代表输出节点信息，作为下一层神经网络的输入。在传统的数据存储与运算分离的冯·诺依曼体系构架的计算机系统中，上述向量矩阵乘积运算需要运算单元不断地从数据存储空间中读取数据和写入数据，造成较高的功耗和延迟。

为缓解这一问题，可以采用具有一定电阻值或电导值的电子器件组成的一个阵列来存储整个权重矩阵的数据。同时，当它们组成交叉阵列结构时，配合外围电路，可以利用欧姆定律和基尔霍夫电流定律一步实现向量矩阵乘积运算。这样的硬件电路，同时实现了权重信息的存储和向量矩阵乘积运算，高效、低功耗地完成神经网络中的信息正向传播。因为数据运算过程在数据存储的空间内完成，所以又称“存内计算”。其中，具有可调电导功能的电子器件，包括阻变存储器、铁电存储、浮栅型存储器、磁存储器、相变存储器等，可以模拟网络节点之间连接权重的可调性或可塑性。这些器件同时模拟了生物系统中突触的可塑性，因此又称人工突触器件。调节可调电导器件的电导，就实现了神经网络中权重的更新，这样就实现了神经网络的训练。

但是，现有的基于电导可调器件的硬件神经网络，存有以下几个问题。首先，神经网络的训练通常采用离线形式，即在传统计算平台上完成神经网络的训练后，再将训练好的权重信息映射并写入到基于电导可调器件的硬件网络中。这样的神经网络仅能够加速神经网络推理过程，神经网络的训练仍然需要消耗较多的计算资源。其次，交叉阵列的外围电路较为复杂。为实现基于欧姆定律和基尔霍夫电流定律的向量矩阵乘积运算，需要在交叉阵列的一端施加精确的电压并在另一端精确地检测电流。这通常需要高精度的数模转换、模数转换电路模块。而这些高精度的电路模块在芯片中实现的成本和运行时的功耗都很高。最后，电导可调器件的非理想特性极大地影响了神经网络离线或在线的训练效果和推理准确度。

因而现有技术还有待改进和提高。

发明内容

本发明的主要目的在于提供一种基于电导可调器件的神经网络训练操作系统及方法，旨在解决现有技术中基于电导可调器件的硬件神经网络在训练和推理过程中，消耗计算资源多且功耗大的问题。

为了达到上述目的，本发明采取了以下技术方案：