[发明专利]一种神经网络训练方法和装置

说明书

本申请提供了一种神经网络训练方法，应用于阻变存储器RRAM上，该方法包括：将神经网络中第r层的神经元输入值输入到RRAM中，根据RRAM中的过滤器对神经元输入值进行计算，得到神经网络中第r层的神经元输出值，根据RRAM的核值、神经网络中第r层的神经元输入值、神经网络中第r层的神经元输出值以及神经网络中第r层的反向传播误差值进行计算，得到神经网络中第r层的反向传播更新值，将神经网络中第r层的反向传播更新值与预设阈值进行比较，当神经网络中第r层的反向传播更新值大于预设阈值，则根据神经网络中第r层的反向传播更新值对RRAM中的过滤器进行更新。本申请旨在通过设置预设阈值减少神经网络训练中的更新操作，从而延长RRAM的使用寿命。

技术领域

本申请数据处理领域，并且更具体地，涉及一种神经网络训练方法和装置。

背景技术

神经网络(如深度神经网络)在计算机视觉、自然语言处理、大数据挖掘等领域得到广泛应用。神经网络计算具有如下两个典型特点：

1)计算密集

神经网络主要进行的运算为多维矩阵乘法，其计算复杂度一般为O(N3)，即完成对N个数据的操作需要耗费的时间跟N的三次方成正比。例如，22层的googlenet(谷歌网络，一种神经元网络结构，由谷歌的研究者提出)一般需要6GFLOPS(Floating-point OperationsPer Second，每秒所执行的浮点运算)的计算量。因此对计算硬件和性能优化提出了较高要求。

2)访存密集

首先，神经网络的训练过程往往需要依赖海量的训练数据，如imagenet 2012包含1400万幅图片；其次，神经网络包含上亿级的神经元的连接参数，尤其在训练过程中需要频繁更新；再者，神经网络在运算过程中会产生大量的中间结果，如梯度信息。训练数据、连接权重、中间结果等大量数据的访存开销对于数据存储结构和计算性能优化提出迫切要求。

新兴的RRAM器件(阻变式存储器，Resistive Random Access Memory)被认为是提升神经网络计算能效的器件之一。首先，RRAM是一种非易失性的存储器，且具备较高的集成密度，相比闪存FLASH设备有更高的存取速度，且耗电量更低，更合适于进行靠近处理器的数据存取，从而十分适合应用于手机终端等设备中的非易失性的数据存储介质。再者，RRAM存储单元利用阻值可变特性能够表征多值，而非传统存储单元的0和1二值。基于RRAM以上这些特性，通过RRAM组建一种交叉阵列结构，如图1利用RRAM单元的交叉阵列结构所示，非常适应神经网络本身的矩阵向量乘运算。

通过使用RRAM的模拟电路形式，可以快速的实现数字电路中的乘加工作。例如，矩阵运算C＝A x B中，产生某一列的n个目标数据，所对应的计算复杂度为O(n²)，上述目标数据可以认为是矩阵A的所有数据乘以矩阵B的对应的列数据获得的。假设矩阵A为n x n大小，矩阵B的一列为n x 1大小，则C矩阵(结果矩阵)的这一个对应列的n个目标数据，每一个元素的获得都需要一次n次乘加，总共的需要n x n次计算。而RRAM的计算中，可以通过DAC(Digital to Analog Converter，数字/模拟转换器)和ADC(Analog to DigitalConverter，模拟/数字转换器)的协同作为，将此过程转换到基于RRAM的模拟电路计算的过程中。对所有的元素现有工作表明，利用RRAM存储单元搭建的交叉阵列结构对神经网络计算进行加速，同CPU或者GPU相比可提升100-1000倍的能效。