[发明专利]神经网络批标准化层硬件实现方法、装置、设备及介质

说明书

本申请涉及神经网络计算技术领域，特别涉及一种神经网络批标准化层硬件实现方法、装置、设备及介质，其中，方法包括：在神经网络中，确定神经网络的当前卷积结果；基于当前卷积结果生成K矩阵，并得到与K矩阵呈映射关系的忆阻器阵列，其中，忆阻器阵列的电导差值与K矩阵的参数相对应；利用忆阻器阵列进行神经网络的BN层计算，得到BN层的计算结果。由此，解决了相关技术中BN层计算只适用于二值神经网络，不适合用于较高精度的神经网络硬件实现等问题，通过在忆阻器阵列上实现BN层计算，节约了数据在处理器单元和忆阻器阵列单元之间的来回传输，提高系统能效。

技术领域

本申请涉及神经网络计算技术领域，特别涉及一种神经网络批标准化层硬件实现方法、装置、设备及介质。

背景技术

相关技术中，BN层(Batch Normalization，批标准化层)硬件实现包括以下步骤：

(1)在二值神经网络中，将判断符号位的操作和BN层计算结合在一起。卷积层的输出结果只需要和Y_TH对比，如果大于该值，则最后的结果为1，如果小于该值，则结果为-1；

(2)将BN层参数融合到前一层的卷积中：

Z^N＝X^N*W^N′+bias′；

把当做等效的权重矩阵，输入输出不变，当做等效偏置，将W^N′和bias′映射到忆阻器阵列中，[X^N,1]转换得到的电压脉冲信号输入到对应的位线端。流经源线的电流，也即该层卷积和BN层计算后的结果；

(3)通过基于忆阻器阵列的查找表方式。针对二值神经网络输出简单的特点，对于不同的卷积结果，将对应的BN层计算结果以查找表的方式存储在忆阻器阵列中。

(4)通过16bit加法器和乘法器单元实现BN层计算。

然而，相关技术中只适用于二值神经网络，不适合用于较高精度的神经网络硬件实现，并且该BN层的硬件实现主要是在CPU(central processing unit，中央处理器)或者GPU(graphics processing unit，图形处理器)中实现，随着存算一体技术的逐渐发展，如果仍将BN层放置到通用的处理单元中计算，存算一体模块和CPU/GPU之间的数据搬运将阻碍系统能效的进一步提升，亟待解决。

申请内容

本申请提供一种神经网络批标准化层硬件实现方法、装置、设备及介质，以解决相关技术中BN层计算只适用于二值神经网络，不适合用于较高精度的神经网络硬件实现等问题，通过在忆阻器阵列上实现BN层计算，节约了数据在处理器单元和忆阻器阵列单元之间的来回传输，提高系统能效。

本申请第一方面实施例提供一种神经网络批标准化层硬件实现方法，包括以下步骤：

在神经网络中，确定所述神经网络的当前卷积结果；

基于所述当前卷积结果生成K矩阵，并得到与所述K矩阵呈映射关系的忆阻器阵列，其中，所述忆阻器阵列的电导差值与所述K矩阵的参数相对应；以及

利用所述忆阻器阵列进行所述神经网络的BN层计算，得到所述BN层的计算结果。

可选地，所述得到与所述K矩阵呈映射关系的忆阻器阵列，包括：

将所述忆阻器阵列中任意两忆阻器单元构成2T2R单元，得到所述忆阻器阵列。

可选地，所述任意两忆阻器单元的源线相连，且位线上施加相同幅值、极性相反的电压脉冲信号。

可选地，还包括：

检测流经源线的实际电流；