[发明专利]一种基于FPGA并行度自适应的卷积神经网络加速器

权利要求书

1.一种基于FPGA并行度自适应的卷积神经网络加速器，其特征在于，包括：读命令发生器、数据分配器、运算簇组、加法树组、输出缓存组和输出仲裁器；

所述基于FPGA并行度自适应的深度卷积神经网络加速器的运行方式为：首先外部向配置寄存器写入加速器的运行参数，这些参数被广播至每一个运算簇中；命令发生器产生激活和权重的读请求，它们采用两个独立的数据通道进行数据传输；由仲裁器动态地向外部总线发送数据的读请求指令；片外存储器中数据通过外部总线读入到数据分配器中，数据分配其将其分配给不同的运算簇中，运算簇进行卷积运算；根多输出加法树选择加法隔离方式和有效输出的数量，其数量与输出激活并行度相同；数据路由模块将根据并行度设置不同的输出缓存连接方式，其连接方式保证每个输出激活并行运算都连接到一个输出缓存；最后由一个输出仲裁器将不同的输出缓存写回片外存储器；

所述输出仲裁器选择从哪个输出缓存中输出数据，其根据输出缓存的请求级别输出数据，在输出缓存具有突发长度一半的数据量时，会触发低级别请求，具有突发长度的数据量时，会触发高级别请求；仲裁器中不存在高请求级别时，将低级别请求的数据输出；存在较高请求级别时，输出较高请求级别所对应的数据。

2.根据权利要求1所述基于FPGA并行度自适应的卷积神经网络加速器，其特征在于，所述数据分配器根据运算簇中的数据一致性进行数据单播或广播；当不同的运算簇运算不同输出激活的时候，数据分配器进行对权重和最后(k-stride)*w_in的激活同时广播至不同的运算簇中，其中，k为卷积核大小，stride为跨步大小，win为输入特征图宽度；当不同的运算簇运算同一输出激活的不同输入通道的时候，数据分配器进行单播，将权重和激活数据依次传输到对应运算簇中。

3.根据权利要求1所述基于FPGA并行度自适应的卷积神经网络加速器，其特征在于，所述运算簇组包含Tp个由运算单元和加法器所组成的运算簇，每个运算单元包含片上激活和权重缓存、地址发生器、应答器、稀疏感知器、非0缓存和Tn个乘累加器；每个乘累加器运算Tn个输出通道的激活，同一个运算簇中不同运算单元的乘累加器结果由加法器进行相加，作为运算簇的输出；运算簇组共包含Tm个运算单元，它们被平均分配给每个运算簇；其中，Tm为Tp的整数倍；所述Tm、Tp和Tn为硬件配置参数，其配置方案为Tm×Tn小于FPGA中DSP的数量，Tp最小为2，最大为Tm，为2的整数次幂；所述运算簇组可以并行运算同一个卷积层的不同输出通道与不同输入通道(或不同输出激活)对应的卷积运算；设卷积层的输入通道数为Chin，当Chin≥Tm×Tn时，每个运算簇运算ceil(Chin/Tp)个输入通道的卷积，其中“ceil()”为向上取整函数；ChinTm×Tn时，取Tu作为满足Chin2^Tu×Tn的最小整数，每个运算簇的卷积运算对应ceil(Hout/2^Tu)行的输出激活和ceil(Chin/Tn)个输入通道；每个运算簇负责相同数量输出通道的卷积运算；所述运算簇组中的运算单元的激活缓存输出位宽为16*Tn，其将Tn个激活输出至稀疏激活感知器；运算单元中的稀疏激活感知器提取Tn个激活中非零值及其对应偏移值，经由非0缓存后，权重缓存根据当前权重读取位置c和非0缓存输出的偏移值off标记具体非0激活位置c+off，进行权重寻址，以匹配Tn个输出通道的权重，随后执行c＝c+Tn。

4.根据权利要求1所述基于FPGA并行度自适应的卷积神经网络加速器，其特征在于，所述加法树组具有多节点输出功能，且由Tn个多段加法树构成；每级加法器的输入端口有先入先出存储器，用以将不同加法器的运算隔离；每级加法器输入端连接到一个运算簇上，其输入值为来自不同输入通道的卷积部分和，每级加法器的输出值均作为一个独立输出，其输出值为不同的输出激活，在Tu不为0时链接不同输出激活缓存，否则只有最后一级输出有效，其他的舍弃。