[发明专利]一种基于FPGA的稀疏激活感知型神经网络加速器

说明书

本发明公开了一种基于FPGA的稀疏激活感知型神经网络加速器，包括了读命令发生器、数据分配器、T_m个运算子通道、大小为T_m×T_n的乘累加阵列、由T_n个加法树组成的加法树组、功能模块和输出缓存。数据分配器将片外存储器读入的数据分配给尽可能少的运算子通道。运算通道将权重和非0激活送入到乘累加阵列，乘累加阵列进行运算卷积乘累加。本发明还提供一种基于FPGA的稀疏激活神经网络运算数据流，它重建非0激活值的位置并且匹配对应的权重。本发明具有很高的数据复用性，减少了数据的搬移节省功耗，未用到的运算子通道及其后续模块被门控时钟所关闭，同样节省了功耗，它可以高效感知稀疏激活，使绝大部分为非0激活所进行的运算，加快了运算速度。

技术领域

本发明涉及电子信息和深度学习领域，特别是一种基于FPGA的高效稀疏激活感知型神经网络加速器。

背景技术

卷积神经网络(CNN)近些年来已经成为计算机视觉任务中最流行和有效的算法之一，因其准确率明显高于传统算法，在图像分类，人脸识别，和语义分割等领域得到了广泛的应用。随着CNN网络模型规模不断扩大，需要更多的计算和存储资源，CPU由于其并行计算资源的不足，面对大规模的CNN运算已经现得力不从心，相反，具有大量流处理器的GPU成为了CNN训练和推理的主流平台，但是其运行CNN时高能耗的缺陷无法避免。FPGA作为一种可编程的逻辑器件，其不仅具有较高的灵活性可以适应各种网络结构，强大的逻辑计算资源和和其较高的能源效率也使其成为了运行CNN的很有前途的硬件平台。

在深度CNN中，其计算量是十分巨大的，这些运算的激活和权重很大一部分都为0，通过利用这些稀疏性，可以在不降低网络预测精度的前提下提升大规模网络的推理性能。其中激活的稀疏是在推理过程中产生的，特别是现代卷积神经网络中大规模使用的矫正线性单元，但是与权重稀疏不同的是，推理时产生的稀疏位置很难在训练时进行控制，这就造成现有的利用稀疏激活神经网络加速器方案对稀疏激活的利用率较为低下。

发明内容

本发明的目的在于针对现有技术利用稀疏激活神经网络加速器方案对稀疏激活的利用率较为低下的不足，提出了一种基于FPGA的稀疏激活感知型神经网络加速器，该加速器实现了较高的片上数据复用，同时使用的数据分配方式减少功耗并对稀疏激活中的0值实现了高效跳过。

本发明为实现上述技术目的，所实施的技术方案为：

一种基于FPGA的稀疏激活感知型神经网络加速器，其特征在于，包括：读命令发生器、数据分配器、T_m个运算子通道、大小为T_m×T_n的乘累加阵列、由T_n个加法树组成的加法树组、功能模块和输出缓存。

所述读命令发生器用于向外部总线发送读请求寻址片外存储器存储的激活和权重数据，其读请求按照T_n个输入通道的激活和权重为单位进行，读取顺序为：特征图从宽度到高度再到输入通道深度；权重从宽度到高度，随后从输入通道深度到输出通道深度。

所述数据分配器，用于将片外存储器读入的数据以输入通道为单位分配给运算子通道，内部维持1个输入通道的计数器,在输入通道为Chin的情况下，计数器的溢出值为ceil(Chin/T_n)-ceil(ceil(Chin/T_n)/T_m)，跨步为ceil(ceil(Chin/T_n)/T_m)，计数条件为上一个输入通道寻址完毕，此处ceil()表示向上取整，“/”为除法，T_m和T_n为乘累加阵列的高度和宽度。只要没溢出，每次计数条件的触发都引起下一个运算子通道的数据分配，一旦溢出，重新分配给第一个运算子通道。没有获得数据的运算子通道及其后续模块被门控时钟所关闭。