[发明专利]支持多粒度稀疏与多模式量化的卷积神经网络的加速器

权利要求书

1.支持多粒度稀疏与多模式量化的卷积神经网络的加速器，其特征在于，包括主控制器，并行的第一级激活输入处理模块和第一级权重处理模块，并行的第二级激活输入处理模块和第二级权重处理模块，第三级处理模块，并行的池化处理模块和批归一化处理模块，以及输出控制器；

主控制器输入端经配置器连接I/O端口，输出端输出图案数据连接第三级处理模块输入端；

第一级激活输入处理模块输入端经输入控制器接入激活输入和处理卷积核稀疏的计算序列；用于根据处理卷积核稀疏的计算序列将激活输入进行重排完成一级处理；

第一级权重处理模块输入端经输入控制器接入权重、稀疏图案编码、以及批归一化参数k和b；用于将输入的权重、稀疏图案编码、以及批归一化参数k和b通过数据分配进行分类更新；

第二级激活输入处理模块输入端接入一级处理后的激活输入和更新后的稀疏图案编码；用于根据更新后的稀疏图案编码确定对一级处理后的激活输入的接收，将接收的激活输入输出到第三级处理模块和池化处理模块；

第二级权重处理模块输入端接入更新后的权重，用于将接收的激活输入对应的权重进行导入，输出到第三级处理模块；并且将更新后的批归一化参数k和b输入到批归一化处理模块；

第三级处理模块包括若干并行的计算核；每个计算核对应处理一组接收的激活输入和权重，将接收的激活输入根据权重的大小进行移位和累加处理量化后输出，然后将计算核的量化输出进行第一量化处理或第二量化处理后输入到批归一化处理模块；

第一量化处理是用于将27比特的定点计算结果转化为8比特定点，用于旁路批归一化处理直接经激活函数输出；第二量化处理是将27比特的定点计算结果转化为16比特浮点，用于批归一化处理计算；

池化处理模块将接收的激活输入进行池化处理后输入到输出控制器；

批归一化处理模块根据更新后的批归一化参数k和b，将第三级处理模块输入的数据进行批归一化处理，然后进行第三量化处理和激活量化函数激活后输入到输出控制器；

第三量化处理是将批归一化处理的结果，从16比特浮点转化为8比特定点，然后再进行输出；

输出控制器的输出端经异步寄存器连接I/O端口。

2.根据权利要求1所述的支持多粒度稀疏与多模式量化的卷积神经网络的加速器，其特征在于，所述的第一级激活输入处理模块包括写控制单元、存储单元、输出控制单元、处理卷积核稀疏的计算序列存储单元和读控制单元；

所述的存储单元包括5个缓存器组，每个缓存器组包括5个RAM；

所述的写控制单元用于将激活输入存入对应的RAM中；

所述的处理卷积核稀疏的计算序列存储单元用于提供卷积核粒度稀疏的计算序列；

所述的读控制单元用于根据处理卷积核稀疏的计算序列提供的顺序从存储单元中读取对应的数据；

所述的输出控制单元用于将读取的数据输出到第二级激活输入处理模块。

3.根据权利要求2所述的支持多粒度稀疏与多模式量化的卷积神经网络的加速器，其特征在于，所述的写控制单元采用状态机控制激活输入存入对应的RAM中。

4.根据权利要求2所述的支持多粒度稀疏与多模式量化的卷积神经网络的加速器，其特征在于，具体的，第一级激活输入处理模块包括5个缓存器组，每个缓存器组包括5个3072x8大小的RAM；5个缓存器组对应存储激活输入中特征图数据的5行数据，缓存器组中的5个RAM按顺序存储1行中每一个点的所有激活输入通道，第一个RAM存储第1、6、11、16…个点的所有输入通道，第二个RAM存储第2、7、12、17…个点的所有输入通道，以此类推将所有点对应存入到RAM中；

将5行的激活输入存入对应的RAM中之后，根据处理卷积核稀疏的计算序列提供的顺序直接去RAM中读取，重排的每一拍可读取出一个5x5的激活输入数据块，输出到第二级激活输入处理模块。

5.根据权利要求4所述的支持多粒度稀疏与多模式量化的卷积神经网络的加速器，其特征在于，第二级激活输入处理模块用于将5x5的激活输入数据块进行广播给64个先进先出寄存器，该64个先进先出寄存器将存储的数据对应的输出给第三级处理模块的计算核；当64个先进先出寄存器中有一个不能接收数据时则停止广播。