[发明专利]一种基于FPGA的支持8bit和16bit数据的可配置的CNN乘法累加器

说明书

本发明公开了一种基于FPGA的支持8bit和16bit数据位宽的可配置的CNN乘法累加器，包括控制模块、输入特征图寄存器、权重寄存器、部分和寄存器、PE阵列以及输出特征图寄存器，其中：所述控制模块用于控制整个卷积计算的时序；输入特征图寄存器用于寄存输入特征图，并把输入特征图像素按照卷积顺序输出到PE阵列；权重寄存器用于为PE阵列提供输入权重；部分和寄存器是一个只有一层的寄存器阵列，PE阵列用于完成卷积计算，输出特征图寄存器用于寄存通过PE阵列完成计算后的值。本发明能加快CNN硬件加速器的设计与部署，简化设计流程。

技术领域

本发明涉及图像识别领域，具体涉及一种基于FPGA的支持8bit和16bit数据的可配置的CNN乘法累加器。

背景技术

深度学习是近年来发展十分迅速的一个崭新的领域，作为深度学习最常用的模型之一的卷积神经网络因其优秀的特征学习能力被广泛应用在图像处理、人脸识别、音频检索等领域。随着卷积神经网络网络结构的发展，其网络深度不断加深，网络结构日新月异，网络的计算需要执行大量的算术运算；同时其应用场景不断拓展，对网络实现的实时性提出了更高的要求。此外，在网络量化方面取得的进展使得目前大多数CNN经过量化训练后都能在不损失太大精度的情况下用8bit的定点数量化整个网络；而即使不经过量化训练，也能用16bit的定点数量化权重和输入同时保持精度。因此，需要一种能够支持多种数据位宽，提供高吞吐率的，同时能适应不同网络结构的可配置的卷积核。

目前，能实现CNN的平台主要有CPU、GPU、FPGA和ASIC，CPU由于其出色的通用性能限制了其不适合用在计算CNN这种需要大量算术运算的场景；GPU由于其出色的并行计算能力被广泛用于人工神经网络的训练，但由于其本身的功率太大，不适合用在对功率有严格要求的场景；而且GPU的成本偏高，目前多应用在云端；ASIC无论在功耗性能方面还是在成本方面都表现出色，但是其设计门槛高、设计周期长；FPGA由于其可编程的特性以及贴近ASIC的设计，常常用于ASIC流片前的验证，虽然FPGA的能效比不及ASIC，但其能灵活地对设计进行修改。

现有的基于FPGA的可配置CNN乘法累加器只能加速一些重复性高的简单的计算，而CNN中一些复杂的运算或随机逻辑，比如后处理中需要计算自然数e的幂或者是一些随机性的优化操作如Dropout等很难用FPGA实现，或是需要耗费大量的资源，而获得的性能与资源投入不成正比。

发明内容

本发明的目的是提供一种基于FPGA的支持8bit和16bit数据的可配置的CNN乘法累加器，用以加快CNN硬件加速器的设计与部署，简化设计流程。

为了实现上述任务，本发明采用以下技术方案：

一种基于FPGA的支持8bit和16bit数据位宽的可配置的CNN乘法累加器，包括控制模块、输入特征图寄存器、权重寄存器、部分和寄存器、PE阵列以及输出特征图寄存器，其中：

所述控制模块用于控制整个卷积计算的时序；输入特征图寄存器用于寄存输入特征图，并把输入特征图像素按照卷积顺序输出到PE阵列；权重寄存器用于为PE阵列提供输入权重；部分和寄存器是一个只有一层的寄存器阵列，PE阵列用于完成卷积计算，输出特征图寄存器用于寄存通过PE阵列完成计算后的值；

在收到启动信号后，控制模块首先根据卷积配置信号产生从外部存储读取数据的使能信号与数据的地址；当完成输入特征图的读取后开始卷积计算，控制模块控制PE阵列开始计算卷积，同时还会继续未完成的权重与部分和读取；卷积计算过程中，控制模块产生移动信号，控制输入特征图寄存器与权重寄存器中数据的映射，以复用寄存的输入特征图数据与权重数据；当卷积计算完成后，控制模块控制输出特征图寄存器寄存PE阵列的计算结果，然后PE阵列开始下一次卷积计算，控制模块产生写使能信号与数据地址，将输出特征图寄存器里寄存的卷积结果写到外部存储。