[发明专利]一种基于特征图稀疏性的卷积神经网络加速器

权利要求书

1.一种基于特征图稀疏性的卷积神经网络加速器，其特征在于，包括输入特征图编码模块、权重编码模块、数据流控制模块、稀疏矩阵计算模块和总线；

总线分别连接数据流控制模块、输入特征图编码模块、权重编码模块和稀疏矩阵计算模块；输入特征图编码模块根据特征图中的0元素，对特征图编码；权重编码模块根据输入特征图编码模块的编码信息，为稀疏矩阵计算模块提供对应的权重数据；数据流控制模块根据寄存器信息控制其余模块的工作模式；稀疏矩阵计算模块使用输入特征图编码模块和权重编码模块提供的数据进行卷积计算，实现卷积神经网络加速器的功能；数据流控制模块中的寄存器由外接的CPU通过总线进行配置，数据流控制模块根据寄存器配置信息中的卷积层计算参数，访问总线，读取输入特征图数据和权重数据，从而实现卷积计算，将输入特征图数据和权重数据对应灌入输入特征图编码模块和权重编码模块，并且将稀疏矩阵计算模块运算得到的输出特征图数据通过总线写回外部缓存；

同时，数据流控制模块根据输入特征图编码模块和稀疏矩阵计算模块的信息进行反压控制；

采用矩阵运算实现卷积，当稀疏矩阵计算模块经过多次矩阵运算结果并累加后，由数据流控制模块发出指令，控制稀疏矩阵计算模块将输出特征图数据依次输出；

所述数据流控制模块，将卷积计算中的以滑窗为原子计算的计算模式，转换为以矩阵相乘计算为原子计算的计算模式；将卷积计算在输出特征图宽度、输出特征图高度、输出通道数、卷积核宽度、卷积核高度和输入通道数六个维度上的循环，通过循环之间的合并、拆分和调换次序三种方法，转换以矩阵与矩阵乘法为原子计算的计算模式；

所述计算模式在特征图宽度、输出特征图高度、输出通道数、卷积核宽度、卷积核高度和输入通道数六个维度中，在输入通道数和输出通道数的并行度为P，P表示每个单元存储的数据数量，稀疏矩阵计算模块中计算的矩阵尺寸为P*P矩阵。

2.根据权利要求1所述的一种基于特征图稀疏性的卷积神经网络加速器，其特征在于，所述数据流控制模块根据输入特征图编码模块和稀疏矩阵计算模块的信息进行反压控制，具体如下：

当输入特征图编码模块已经完成下一次矩阵计算所需数据的编码时，若稀疏矩阵计算模块没有完成本次数据计算，则使输入特征图编码模块暂停工作，直至稀疏矩阵计算模块完成本次计算；

而当稀疏矩阵计算模块完成本次计算时，若输入特征图编码模块未准备好下一次稀疏矩阵计算模块所需数据的编码时，则使稀疏矩阵计算模块暂停工作，直至输入特征图比编码模块完成下一次运算所需数据的编码工作。

3.根据权利要求2所述的一种基于特征图稀疏性的卷积神经网络加速器，其特征在于，原子计算进行的矩阵运算与传统计算流程不同，将传统计算流程的矩阵相乘C_nn＝A_nn*B_nn计算时第一矩阵A的行向量与第二矩阵B的列向量对应相乘后累加的原子操作转换为，将第一矩阵A的列向量与第二矩阵B中对应元素相乘得到一个中间矩阵的原子操作，重复这一操作将所有得到的中间矩阵进行累加，得到结果第三矩阵C。

4.根据权利要求3所述的一种基于特征图稀疏性的卷积神经网络加速器，其特征在于，根据以矩阵与矩阵乘法为原子计算的计算模式，输入特征图数据存储格式如下：

输入特征图为一个三维矩阵，其尺寸为[Wi,Hi,Ni]，Wi、Hi和Ni分别表示输入特征图宽、输入特征图高和输入通道数；在内存中的以每个单元尺寸为[1,1,P]的方式进行映射，映射顺序为先进行宽方向，再进行高方向，最后通道方向；输出特征图存储格式与输入特征图存储格式一致；

权重数据存储格式如下：

权重数据为一个四维矩阵，其尺寸为[Wk,Hk,Ni,No]，Wk、Hk和No分别表示卷积核宽、卷积核高、和输出通道数；在内存中以[1,1,P,1]为单元进行映射，以输出通道方向卷积核宽度方向卷积核高度方向输入通道方向的优先级实现映射。