[发明专利]一种用于执行batch normalization运算的装置和方法

权利要求书

1.一种用于执行batch normalization运算的装置，包括运算模块，其中，

所述运算模块用于执行batch normalization运算的正向运算或反向运算；

所述运算模块包括运算单元、数据依赖关系判断单元、神经元缓存单元和中间值缓存单元，其中，

所述运算单元用于接收微指令并进行算数逻辑运算；

所述数据依赖关系判断单元用于对神经元缓存单元进行读写操作，保证指令之间所用的数据不存在读写一致性冲突；

所述神经元缓存单元用于缓存输入神经元数据和输出神经元数据；

所述中间值缓存单元用于缓存所述运算模块计算过程中需要的中间值数据。

2.如权利要求1所述的用于执行batch normalization运算的装置，其特征在于，

所述运算单元在batch normailizaiton运算的正向过程进行以下计算过程：

y＝f(x)＝alpha*(x-E[x])/sqrt(var(x)+eps)+beta，其中，x为输入神经元数据，y为输出神经元数据，alpha、beta为学习参数，其在反向训练过程中不断更新，用于之后计算输出神经元数据y的公式中；极小常数eps，均值E[x]代表输入数据的神经元数据x以batch大小为一个总量所求出的均值，var[x]表示相应的输入神经元数据x以batch大小为一个总量所求出的方差。

3.如权利要求1所述的用于执行batch normalization运算的装置，其特征在于，

所述运算单元在batch normailizaiton运算的反向过程进行以下计算过程：

假设一个像素点传入的梯度为dl/dY，反向传出的梯度是dl/dx，正向过程输出为Y，其余参数表示含义与正向过程相同，则经过batch normalization反向传播出的梯度dl/dx＝(alpha/sqrt(var(x)+eps))*(dl/dY-mean(dl/dY)-mean(dl/dY*Y)*Y)，其中，极小常数eps，var[x]表示相应的输入神经元数据x以batch大小为一个总量所求出的方差，mean是取均值操作，学习参数alpha的梯度为：dl/dalpha＝(∑dl/dY)*Y，学习参数beta的梯度为：dl/dbeta＝∑dl/dY，通过这两个梯度更新学习参数的数值。

4.如权利要求1所述的用于执行batch normalization运算的装置，其特征在于，还包括指令存储单元和数据访问单元，其中，

所述数据访问单元用于访问外部地址空间，完成数据的加载和存储；

所述指令存储单元通过数据访问单元读入指令并缓存读入的指令。

5.如权利要求4所述的用于执行batch normalization运算的装置，其特征在于，还包括：

控制器单元，用于从指令存储单元中读取指令，将指令译码成控制其他单元或模块行为的微指令，然后将各自的微指令分发至各个单元或模块；其他单元或模块包括运算模块、数据访问单元和存储单元。

6.如权利要求1所述的用于执行batch normalization运算的装置，其特征在于，所述指令包括以下至少一种：

CONFIG指令，用于在batch normalization计算开始前配置当前层计算需要的各种常数；

COMPUTE指令，用于完成batch normalization过程的算术逻辑运算；

IO指令，用于实现从外部地址空间读入计算需要的输入数据以及在计算完成后将数据存回至外部空间；

NOP指令，负责清空当前装置内部所有微指令存储队列中的微指令，保证NOP指令之前的所有指令全部执行完毕；

JUMP指令，负责控制将要从指令存储单元读取的下一条指令地址的跳转，用来实现控制流的跳转；

MOVE指令，负责将装置内部地址空间某一地址的数据搬运至装置内部地址空间的另一地址，该过程独立于运算单元，在执行过程中不占用运算单元的资源。