[发明专利]关于二值权重DenseNet模型的混合流水式加速架构及加速方法

说明书

本发明公开了一种关于二值权重DenseNet模型的混合流水式加速架构及加速方法，其中所述的加速系统包括控制单元，用于根据各个模块的状态指示信号，协调顶层模块的流水线工作，控制数据的输入输出；片上存储模块，用于存储网络参数；设有7个顶层模块，顶层模块之间通过插入ping‑pong缓存结构实现流水式并行工作，7个顶层模块分别为首层、第一密集块、第一过渡层、第二密集块、第二过渡层、第三密集块、分类层；对DenseNet的第一密集块、第二密集块、第三密集块分别设置一个可复用卷积计算单元对其进行处理；所述的首层是一个卷积层，对来自片外存储的输入图片数据进行处理；所述的分类层，用于将产生分类结果存储到片外存储模块。本发明降低了深层网络模型的实现难度，并且提高了计算效率和吞吐量。

技术领域

本发明涉及数字电路设计及深度学习技术领域，更具体的，涉及一种关于二值权重DenseNet模型的混合流水式加速架构及加速方法。

背景技术

深度卷积神经网络在图像识别，视频监控和特征检测等诸多领域中表现出色从而得到广泛应用。因其计算复杂性和存储密集性，深度卷积神经网络难以直接部署在低功耗、资源有限的嵌入式终端设备。

因此，网络压缩成为一种重要手段。二值权重网络仅用单个比特来表示卷积参数，在大数据集ImageNet的top-1分类精度相比于全精度模型下降仅5％左右，却显著减小了参数规模和降低了计算复杂度。二值权重策略使得在资源功耗受限的平台部署大型CNN成为可能。另一方面，DenseNet模型在多项计算机视觉任务上表现优异。因其特殊的密集块结构，在实现相近的分类精度时，DenseNet模型的参数规模和运算次数都不及ResNet模型的一半。因此，DenseNet相比于传统深层网络模型更加适合硬件平台的加速设计。将二值权重策略应用到DenseNet，训练后得到二值权重DenseNet模型。该过程识别精度下降仅约1％，却带来硬件加速的多种优势，包括节省内存、提供吞吐量等。因此二值权重DenseNet模型更加适合在硬件平台的加速设计和部署。

目前对深度神经网络的硬件加速系统主要有两类：中央处理架构和全流水式架构。前者一般由通用计算核心，输入输出缓存结构和控制单元组成，通用计算核心按顺序对神经网络逐层处理。如中国专利公开号：CN102298567A，公开日：2011-12-28，公开了一种集成中央运算和图形加速的移动处理器架构，具体公开了包括中央处理器CPU、供中央处理器访问的一级缓存、图形处理加速器GPU、内存SDRAM，还包括中央处理器CPU和图形处理加速器GPU共享的紧密连接缓存TCM，CPU和GPU分别通过独立的高速读写总线与TCM相连；中央处理器CPU首先对一级缓存中的数据进行预处理，然后通过共享的一级缓存TCM送给图形处理加速器GPU，图形处理加速器GPU处理完图像像素数据后，将数据输出到一级缓存TCM中，再由中央处理器CPU进行后续处理。由于网络不同层的结构差异较大(如特征图尺寸、参数规模等)，该架构的计算效率普通很低。

后者为网络的所有层优化设计独立的处理核心，不同的核心能够实现全流水式工作，从而提高了系统吞吐量。但该架构容易受存储带宽和计算资源的限制，通常适用于VGG16等浅层模型。对于层次上百的深层网络也会带来极高的设计复杂度。

无论是通用性较好的中央处理架构还是吞吐量较高的全流水式架构，都无法很好地适应DenseNet的特殊密集块结构。

发明内容

本发明为了解决目前主流的神经网络加速系统难以适应其特殊的密集连接结构，存在计算效率低下、设计复杂度过高等问题，提出一种关于二值权重DenseNet模型的混合流水式加速架构及其加速方法，该混合流水式架构结合了中央处理架构和全流水式架构的特点，降低了深层网络模型的实现难度，并且提高了计算效率和吞吐量。

为实现上述本发明目的，采用的技术方案如下：一种关于二值权重DenseNet模型的混合流水式加速架构，包括控制单元，片上存储模块，顶层模块；

所述的控制单元，用于根据各个模块的状态指示信号，协调顶层模块的流水线工作，控制数据的输入输出；