[发明专利]面向深度神经网络训练和推理的范围批处理归一化算法的硬件电路

权利要求书

1.一种面向深度神经网络训练和推理的范围批处理归一化算法的硬件电路，其特征在于包括：

权值缓冲器，用于存储深度神经网络当中的权值数据；

输入/结果缓冲器，用于存储深度神经网络的输入特征图数据以及输出特征图数据；

脉动阵列，包含若干个处理单元，且所有处理单元构成一维串行结构或二维阵列结构，用于执行卷积运算当中的乘和累加运算以及批处理归一化的功能；

所述权值缓冲器、输入/结果缓冲器分别与脉动阵列相连；

所述处理单元包括：

乘法和累加模块，用于对输入特征图input_in和输入权值w_in执行乘法和累加操作，并将输入特征图input_in作为信号input_out、输入权值w_in作为信号w_out传递给临近的处理单元使用，将累加的计算结果通过信号result_out输出；

批处理归一化模块，用于对输出结果信号result_out执行批处理归一化操作；

第一多路选择器，用于在使能信号BN的控制下选择输出输出结果信号result_out或者批处理归一化模块的输出信号，所述乘法和累加模块的以及批处理归一化模块分别与第一多路选择器的输入端相连；

所述批处理归一化模块包括：

第一模块，包括最大值比较模块、最大值寄存器、最小值比较模块、最小值寄存器、累加模块、部分和寄存器和结果存储器x-ram，所述最大值比较模块将输入的计算结果x和最大值寄存器的值进行比较且在计算结果x大于最大值寄存器中的值时将计算结果x更新最大值寄存器，所述最小值比较模块将输入的计算结果x和最小值寄存器的值进行比较且在计算结果x小于最小值寄存器中的值时将计算结果x更新最小值寄存器，累加模块将输入的计算结果x累加到部分和寄存器，且计算结果x直接进入结果存储器x-ram被存储；

第二模块，包括标准差计算模块、标准差近似值寄存器、标准差寄存器、方差计算模块、方差寄存器、均值计算模块、均值寄存器，所述标准差计算模块将最大值寄存器中存储的最大值减去最小值寄存器中存储的最小值得到这批计算结果x的数值范围，并将其乘以存于标准差近似值寄存器当中的常数C(n)得到该批计算结果x的标准差并存储在标准差寄存器中；所述方差计算模块将标准差寄存器中缓存的标准差进行平方操作以后得到了方差存于方差寄存器当中；所述均值计算模块将部分和寄存器中存储的累加总和除以批的数量大小得到了该批计算结果x的平均值μ并存于均值寄存器；

第三模块，包括全局均值计算模块、全局均值寄存器、全局方差计算模块、全局方差寄存器，所述全局均值计算模块根据指数平均公式将均值寄存器中的均值更新全局均值寄存器中存储的全局均值，所述全局方差计算模块根据指数平均公式将方差寄存器中的方差更新全局方差寄存器中存储的全局方差；

第四模块，包括训练归一化操作模块、推理归一化操作模块以及第二多路选择器，所述训练归一化操作模块将计算结果x从结果存储器x-ram中读出并根据参数γ和β执行操作x=(x-μ)/σ和y=γ*x+β,其中μ为计算结果x的均值，其中σ为方差，参数γ和β初始化为1和0且在训练当中参数更新模块通过信号gamma_update和beta_update输入更新；所述推理归一化操作模块将计算结果x从结果存储器x-ram中读出并执行操作y=a*x+b，其中a=γ/σ_g，b=β-(γ-μ_g)/σ_g，其中μ_g为全局均值，σ_g为全局方差;所述第二多路选择器用于在模式选择信号控制下选择训练归一化操作模块、推理归一化操作模块两者之一输出至第一多路选择器，所述模式选择信号包括训练和推理两种模式。