[发明专利]一种用于执行batch normalization运算的装置和方法

权利要求书

1.一种用于在神经网络训练过程中执行batch normalization运算的方法，所述方法应用于运算装置中，所述运算装置包括控制器单元以及运算模块；

所述控制器单元读取指令，并将所述指令译码成微指令；

所述控制器单元将所述微指令发生至所述运算模块；

所述运算模块根据所述微指令执行batch normalization的正向运算或反向运算。

2.根据权利要求1所述的方法，其特征在于，所述运算模块包括所述运算模块包括神经元缓存单元和中间值缓存单元；

所述运算模块根据所述微指令执行batch normalization运算的正向运算包括：

运算模块根据所述微指令从所述神经元缓存单元读取输入神经元向量，并计算所述输入神经元向量的均值和所述输入神经元向量的方差；

运算模块将所述输入神经元向量的均值和所述输入神经元向量的方差存入所述中间值缓存单元；

所述运算模块从所述神经元缓存单元中读取学习参数和输入神经元向量、从中间值缓存单元中读取输入神经元向量的均值和所述输入神经元向量的方差，并根据所述学习参数、输入神经元向量、输入神经元向量的均值和输入神经元向量的方差计算获得输出神经元；

所述运算模块将所述输出神经元存入所述神经元缓存单元。

3.根据权利要求2所述的方法，其特征在于，所述运算模块从所述神经元缓存单元中读取学习参数和输入神经元向量、从中间值缓存单元中读取输入神经元向量的均值和所述输入神经元向量的方差，并根据所述学习参数、输入神经元向量、输入神经元向量的均值和输入神经元向量的方差计算获得输出神经元，包括：

所述运算模块从所述神经元缓存单元读取输入神经元向量，从中间值缓存单元中读取所述输入神经元向量的均值和所述输入神经元向量的方差，并根据所述输入神经元向量、所述输入神经元向量的均值和所述输入神经元向量的方差，并行计算获得归一化过程的中间值；

运算模块从将所述归一化过程的中间值存储入中间值缓存单元中；

运算模块从神经元缓存单元中读取学习参数，从中间值缓存单元中读取所述归一化过程的中间值，并根据所述学习参数及所述中间值获得输出神经元。

4.根据权利要求2所述的方法，所述学习参数包括学习参数

所述运算模块根据所述学习参数、输入神经元向量、输入神经元向量的均值和输入神经元向量的方差计算获得输出神经元，包括：

所述运算模块根据公式：y＝alpha*(x-E[x])/sqrt(var(x)+eps)+beta计算获得输出神经元；

其中，x为输入神经元向量，y为输出神经元，alpha、beta为学习参数，其在训练过程中不断更新，并用于计算新的输出神经元数据；eps为极小常数，E[x]为均值，var(x)为方差。

5.根据权利要求2所述的方法，所述运算模块还包括数据依赖关系判断单元；

所述运算模块根据所述微指令从所述神经元缓存单元读取输入神经元向量，包括：

所述数据依赖关系判断单元判断所述微指令之间是否存在读写一致性冲突；

若不存在所述读写一致性冲突，则所述运算模块根据所述微指令从所述神经元缓存单元读取输入神经元向量。

6.根据权利要求2所述的方法，所述运算模块还包括数据依赖判断单元；

所述运算模块将所述输出神经元存入所述神经元缓存单元，包括：

所述数据依赖关系判断单元判断所述微指令之间是否存在读写一致性冲突；

若不存在所述读写一致性冲突，则所述运算模块将所述输出神经元存入所述神经元缓存单元。