[发明专利]一种基于FPGA的卷积神经网络量化实现方法以及装置

权利要求书

1.一种基于FPGA的卷积神经网络量化实现方法，其特征在于，该方法包括量化卷积核步骤，包括：

将CNN卷积层分解为逻辑运算与加法运算的组合，转换为N×N卷积逻辑核，N为大于2的正整数；

在FPGA中使用多个LUT分别实现所述逻辑运算以及加法运算，以实现所述N×N卷积逻辑核。

2.根据权利要求1所述的基于FPGA的卷积神经网络量化实现方法，其特征在于，所述N×N卷积逻辑核，通过将所述CNN卷积层中量化激活值按照预设量化位数进行按位拆分，分解为多个同或运算与多个加法运算的组合得到；所述N×N卷积逻辑核中包括转换后量化卷积参数w′与输入的量化激活值的各个位之间的同或运算。

3.根据权利要求1所述的基于FPGA的卷积神经网络量化实现方法，其特征在于，当N＝3，实现3×3卷积逻辑核时，使用多个LUT计算其中以及分别为量化激活值的第2、1、0位，w′₁、w′₂、w′₃分别为对应位的转换后量化卷积参数，⊙为同或符号，使用一个LUT实现三个两位数加法，以及使用加法器实现各个分支输出的求和。

4.根据权利要求1或2或3所述的基于FPGA的卷积神经网络量化实现方法，其特征在于，该方法还包括将卷积层、尺度层、激活层合并，融合形成一个QCBR层，所述QCBR层由所述N×N卷积逻辑核与倍数系数相乘后再与尺度层偏移系数相加得到，以使得在FPGA上使用逻辑运算、定点数乘法与定点数加法实现所述QCBR层。

5.根据权利要求4所述的基于FPGA的卷积神经网络量化实现方法，其特征在于，实现所述QCBR层的步骤包括：

在FPGA中使用所述N×N卷积逻辑核计算输入通道上的各个N×N卷积，得到N×N卷积结果；

使用加法器将所有输入通道上的所述N×N卷积结果进行累加，得到卷积结果；

使用乘加器将所述卷积累加结果与对应预设倍数系数相乘后与尺度层偏移系数相加，得到尺度运算结果；

对所述尺度运算结果进行限位后输出。

6.根据权利要求1或2或3所述的基于FPGA的卷积神经网络量化实现方法，其特征在于，该方法还包括网络训练步骤，包括：

构造初始CNN网络N并进行训练，得到预训练模型BWN－model；

将所述初始CNN网络N中的激活层替换为预设的激活层QRelu，形成更新后CNN网络QN；

将所述预训练模型BWN－model的各层权重加载到所述更新后CNN网络QN中，并对所述更新后CNN网络QN进行训练，直至训练完成。

7.根据权利要求6所述的基于FPGA的卷积神经网络量化实现方法，其特征在于，所述对所述更新后CNN网络QN进行训练的过程中包括分批次更新每个所述激活层QRelu的量化系数，步骤包括：

每次取当前批次的数据，对当前网络进行前向推理，判断所述更新后CNN网络QN中每一所述激活层QRelu的输入，如果不存在大于0的数，则根据当前批次更新所述量化系数，否则计算[a_j，-a_j]的标准差δ，a_j为所述激活层QRelu中大于0的数，2δ为量化映射范围，根据所述标准差δ以及当前批次更新所述量化系数。

8.一种基于FPGA的卷积神经网络量化实现装置，包括FPGA，其特征在于，所述FPAG上配置有量化卷积核模块，所述量化卷积核模块包括：

第一LUT单元，包括多个LUT，用于计算将CNN卷积层转换为N×N卷积逻辑核中的逻辑运算，所述N×N卷积逻辑核为通过将CNN卷积层分解为逻辑运算与加法运算的组合转换得到；

第二LUT单元，包括多个LUT，用于计算将CNN卷积层转换为N×N卷积逻辑核中的加法运算；

加法器单元，用于对各个LUT分支进行求和，得到最终的结果。