[发明专利]一种基于FPGA的支持8bit和16bit数据的可配置的CNN乘法累加器

权利要求书

1.一种基于FPGA的支持8bit和16bit数据位宽的可配置的CNN乘法累加器，其特征在于，包括控制模块、输入特征图寄存器、权重寄存器、部分和寄存器、PE阵列以及输出特征图寄存器，其中：

所述控制模块用于控制整个卷积计算的时序；输入特征图寄存器用于寄存输入特征图，并把输入特征图像素按照卷积顺序输出到PE阵列；权重寄存器用于为PE阵列提供输入权重；部分和寄存器是一个只有一层的寄存器阵列，PE阵列用于完成卷积计算，输出特征图寄存器用于寄存通过PE阵列完成计算后的值；

在收到启动信号后，控制模块首先根据卷积配置信号产生从外部存储读取数据的使能信号与数据的地址；当完成输入特征图的读取后开始卷积计算，控制模块控制PE阵列开始计算卷积，同时还会继续未完成的权重与部分和读取；卷积计算过程中，控制模块产生移动信号，控制输入特征图寄存器与权重寄存器中数据的映射，以复用寄存的输入特征图数据与权重数据；当卷积计算完成后，控制模块控制输出特征图寄存器寄存PE阵列的计算结果，然后PE阵列开始下一次卷积计算，控制模块产生写使能信号与数据地址，将输出特征图寄存器里寄存的卷积结果写到外部存储；

所述输入特征图寄存器具有三层结构，第一层用于寄存从外部存储读取的数据，第二层用于输入特征图的移动，第三层用于复用输入特征图的数据同时计算多个输出特征图通道；

所述权重寄存器具有两层结构，第一层用于将寄存的输入权重映射到计算同一个输出通道的PE，第二层用于寄存第一层的映射结果并为PE阵列提供稳定的输入权重；所有寄存器位宽为16bit；

在8bit模式下，每个寄存器寄存两个权重，分别属于两个不同的输出特征图通道；在16bit模式下，每个寄存器寄存一个权值，权重寄存器第一层与第二层的尺寸均与PE阵列相同；

所述部分和寄存器的结构与输入特征图寄存器第一层相同，输入数据位宽为16bit；对于8bit模式，部分和输入的高8bit和低8bit分别代表不同输出特征图通道的部分和；对于16bit模式，输入即一个部分和；

所述PE阵列中的每个PE内部由一个至少支持24bit*16bit的有符号乘法器与一个至少33bit的加法器以及其余数据选择逻辑构成；对于8bit模式，24bit*16bit的乘法器能一次乘法能算出两个8bit*8bit的结果，如下式：

d＝(a*2¹⁶+b)*c

其中a、b、c均为8bit符号数，d为计算结果；

对于16bit模式，24bit*16bit乘法器每次乘法只能算出一个16bit*16bit的结果；乘法器得出的结果会送到加法器进行累加，8bit模式时，加法器的低16bit和高16bit分别计算两个16bit+16bit的结果；

所述输出特征图寄存器仅有一层结构，其结构与输入特征图寄存器第一层相同，控制模块每个周期将输出特征图寄存器最右的一列数据输出到外部存储，然后每个寄存器寄存其左方的寄存器的值，输入数据位宽为32bit；对于8bit模式，输出的高16bit和低16bit分别代表同一位置不同输出特征图通道的数据；对于16bit模式，输出即一个输出特征图数据。

2.根据权利要求1所述的基于FPGA的支持8bit和16bit数据位宽的可配置的CNN乘法累加器，其特征在于，采用S形的遍历顺序，对于一个k*k大小的卷积核，仅用左移、右移和下移遍历其所有权值；从卷积核的左上角开始，先向右移遍历第一行的权值，然后下移到第二行，再向左遍历第二行，接着继续下移，交替变换左右移的方向直至遍历完整个卷积核。

3.根据权利要求1所述的基于FPGA的支持8bit和16bit数据位宽的可配置的CNN乘法累加器，其特征在于，输入特征图寄存器的第一层采取行并行方式寄存数据，从外部存储读取的数据从寄存器的左边输入，每个周期输入一列数据；读取数据的周期，除了直接与输入直接相连的最左列寄存器，其余寄存器都寄存其左侧寄存器上个周期寄存的值；在非读取数据的周期，每个寄存器都保持自己上一周期寄存的值。