[发明专利]一种用于执行batch normalization运算的装置和方法

说明书

本公开公开了一种用于执行batch normalization运算的装置，包括运算模块。使用该装置可以实现多层人工神经网络中的batch normalization运算。对于batch normalization运算来说，在正向过程中，用输入减去均值除以方差与极小量定值eps和的平方根。之后乘以学习参数alpha加上学习参数beta得到该层输出。在反向训练过程中，将输入梯度向量减去梯度向量的均值向量之后再减去梯度向量与正向得到的输出的乘积的均值乘以输出，得到的差值除以正向中的方差与极小定值和的平方根，得到该层的输出梯度向量。本公开有效提高了对人工神经网络中batch normalization正反向运算的支持。

技术领域

本公开涉及人工神经网络技术，具体地涉及一种用于执行人工神经网络中batchnormalization正向和反向运算的装置和方法。

背景技术

多层人工神经网络被广泛应用于模式识别，图像处理，函数逼近和优化计算等领域，多层人工神经网络在近年来由于其较高的识别准确度和较好的可并行性，受到学术界和工业界越来越广泛的关注，而多层人工神经网络中的batch normalization运算因为其可以加速神经网络训练速度，提高识别精度的特性，被越来越多的运用到了多层神经网络中。

一种支持batch normalization运算的已知方法是使用通用处理器。该方法通过使用通用寄存器堆和通用功能部件执行通用指令来支持上述算法。该方法的缺点之一是单个通用处理器的运算性能较低，无法满足通常的多层人工神经网络运算的性能需求。而多个通用处理器并行执行时，通用处理器之间相互通信又成为了性能瓶颈。另外，通用处理器需要把多层人工神经网络正向运算译码成一长列运算及访存指令序列，处理器前端译码带来了较大的功耗开销。

另一种支持batch normalization的已知方法是使用图形处理器(GPU)。该方法通过使用通用寄存器堆和通用流处理单元执行通用SIMD指令来支持上述算法。由于GPU是专门用来执行图形图像运算以及科学计算的设备，没有对多层人工神经网络batchnormalization运算的专门支持，仍然需要大量的前端译码工作才能执行多层人工神经网络运算，带来了大量的额外开销。另外GPU只有较小的片上缓存，多层人工神经网络batchnormalization的模型数据需要反复从片外搬运，片外带宽成为了主要性能瓶颈。并且batch normalization运算有大量的例如求和的归一化运算，GPU的并行架构并不适合做这种大量归一化的运算。

发明内容

本公开的一个方面提供了一种用于执行人工神经网络batch normalization运算的装置，包括指令存储单元、控制器单元、数据访问单元、运算模块,其中：指令存储单元用于通过数据访问单元读入指令并缓存读入的指令；控制器单元用于从指令存储单元读取指令，并将该指令译码成控制运算模块的微指令；数据访问单元用于从外部地址空间向运算模块的相应数据缓存单元中写数据或从所述数据缓存单元向外部地址空间读数据；运算模块用于对数据的具体计算。

本公开的另一个方面提供了一种使用上述装置执行batch normalization正向运算的方法。在使用过程中，假设x是每一个输入神经元元素，y是输出元素。学习参数alpha、beta、极小常数eps、均值E[x]、方差var[x]均为训练过程中得到的常数，该装置并行的完成batch normalization正向y＝f(x)＝alpha*(x-E[x])/sqrt(var(x)+eps)+beta计算过程得到输出神经元。在训练过程中，正向运算需要动态的计算均值E[x]、方差var[x]。通过本装置的运算模块完成均值、方差计算过程中的累加和(归一化)运算，从而计算训练过程中每一次迭代的均值和方差。