[发明专利]一种量化MobileNet的硬件加速器及其设计方法

说明书

本发明涉及一种量化MobileNet的硬件加速器及其设计方法，属于硬件加速及计算机视觉技术领域。包括顶层控制模块、存储器控制模块、逐点卷积模块、逐通道卷积模块及后处理模块；顶层控制模块与存储器控制模块、逐点卷积模块、逐通道卷积模块及后处理模块相连；存储器控制模块与逐点卷积模块、逐通道卷积模块及后处理模块相连。所述方法将输入数据与权重放入不同大小缓存，通过并行数可变的深度可分离卷积降低硬件使用并获得卷积结果，再通过后处理完成池化、跨层连接与地址生成，使得数据在连续地址上排布。所述方法解决了MobileNet缓存利用率低的问题、降低了耗时与资源消耗。

技术领域

本发明涉及一种量化MobileNet的硬件加速器及其设计方法，属于硬件加速设计及计算机视觉技术领域。

背景技术

深度神经网络已经成为了许多重要应用的一部分，尤其是在涉及到计算机视觉及语音处理等部分，传统模型无法对这些复杂应用进行良好的建模，而深度神经网络则可以完成良好的模型拟合。卷积神经网络根据生物对图像的感知过程演变而来，十分适合于计算机视觉任务，例如图像识别、图像分割等。近年来，许多不同的CNN模型被提出，提升了该类网络的不同部分性能，如计算复杂度，识别精度等。但这些提升带来的代价则是急剧上升的计算负载，存储负载以及带宽负载，例如在图像分类问题上，著名的ResNet50网络能够在ImageNet数据集上实现76.5％的top-1准确率，但这种高准确率是以大量的运算以及内存操作为代价获取的，这导致这类网络只能在有着一定运算能力与存储空间的平台上运行，而极难部署或无法部署在小型移动平台上。尽管以MobileNet为代表的一系列效率型卷积神经网络以降低计算负载和权重大小为目标进行网络结构的重新设计，并且取得了显著的效果，但在一些边缘设备上仍旧面临着许多性能瓶颈，其中的一大问题便是存储问题。

随着智能社会的发展，我们希望在许多小型设备上也能实时运行高精度的神经网络模型以实现更多丰富的应用。但这些设备受限于成本、功耗等现实问题，计算能力与存储能力都十分有限，或许他们可以配备低功耗的廉价大容量片外存储(例如DRAM)以解决存储问题，但这些片外存储延迟大，访问效率低，如果在网络运行的过程中频繁的对这些存储进行数据交互将导致网络运行速度的下降，从而不能满足绝大部分应用的实时性要求。因此如何在这些设备上充分利用较小的高速存储与较弱的运算能力以实现实时的神经网络应用就变成了一个难题。

发明内容

本发明的目的在于针对目前神经网络平台资源受限导致网络整体性能下降较多或无法部署在边缘设备上的技术缺陷，提出了一种量化MobileNet的硬件加速器及其设计方法。

为了达到上述目的，本发明采取如下技术方案：

所述硬件加速器，与外部存储器及控制器相连，包含顶层控制模块、存储器控制模块、逐通道卷积模块、后处理模块以及逐点卷积模块；

逐通道卷积模块包含行缓存器子模块以及量化单元A；

后处理模块包含池化子模块、跨层连接子模块与地址生成子模块；

逐点卷积模块包含数据准备子模块、权重准备子模块、逐点卷积计算子模块与部分和累加子模块；

其中，逐点卷积计算子模块包括乘法阵列与可配置的加法器树，部分和累加子模块包括FIFO和量化单元B；

其中，可配置的加法器树按照顶层控制模块配置的输入输出通道并行数将乘法阵列的输出按照不同的通道并行度相加，从而达到输入输出通道并行度可配置；

所述硬件加速器中各组成部件的连接关系如下：

顶层控制模块与存储器控制模块、逐点卷积模块、逐通道卷积模块及后处理模块相连；存储器控制模块与顶层控制模块、逐点卷积模块、逐通道卷积模块及后处理模块相连；逐点卷积模块与顶层控制模块、存储器控制模块、逐通道卷积模块及后处理模块相连；逐通道卷积模块与逐点卷积模块、顶层控制模块、存储器控制模块及后处理模块相连；