[发明专利]一种适用于堆叠式沙漏网络的深度学习加速器

说明书

本发明公开了一种适用于堆叠式沙漏网络的深度学习加速器，并行计算的层计算单元提高了计算并行度，数据缓存模块在加快计算速度的同时提高了载入到加速器内部缓存的数据的利用率；同时加速器内部的数据调整器可以根据计算层操作的不同能够进行自适应的数据排布顺序的变化，能够增加获取数据的完整性，提高数据获取的效率，减少访存过程的延时。因此，本加速器在提高算法计算速度的同时通过减少内存访问次数及提高访存效率来有效地降低了内存带宽，从而实现加速器整体的计算加速性能。

技术领域

本发明属于神经网络训练领域，具体涉及一种适用于堆叠式沙漏网络的深度学习加速器。

背景技术

深度神经网络(Deep Neural Networks)是深度学习中的算法模型，由于其与传统算法相比有更加出色的表现，现已被广泛地应用在图像分类、目标识别、姿态识别等各个领域中。深度神经网络需要进行大量的数据计算，传统的通用处理器由于架构的限制导致计算速度较慢，不能满足实时应用的需求，因此需要设计专用的神经网络加速器为深度神经网络的实时计算提供硬件支持。

在姿态识别应用中，一种识别准确度较高的称为堆叠式沙漏网络(StackedHourglass Network)的深度神经网络结构被提出。该算法的网络结构中包含深度可分离卷积模块和多层次残差结构，在计算过程中这些计算层需要计算单元大量访问内存获取计算所需要的数据。访存过程中产生的延时将会占用大部分硬件运行时间，因此新的网络结构会大大减慢硬件计算的速度。

堆叠式沙漏网络结构中大量使用了深度可分离卷积模块和多层次残差结构，在计算过程中这些计算层需要计算单元大量访问内存获取计算所需要的数据，访存过程中产生的延时将会占用大部分硬件运行时间，过去的深度神经网络加速器中没有对上述提到的网络结构的访存方式提供优化的计算电路，因此并不能为该结构提供有效的加速效果。同时，由于没有优化的电路设计导致的额外的访存也会带来额外的功耗，使得带有该种加速器单元的设备的续航能力大大降低。

发明内容

为了克服上述技术缺陷，本发明提供一种适用于堆叠式沙漏网络的深度学习加速器，在提高算法计算速度的同时通过减少内存访问次数及提高访存效率来有效地降低了内存带宽，从而实现加速器整体的计算加速性能。

为了解决上述问题，本发明按以下技术方案予以实现的：

一种适用于堆叠式沙漏网络的深度学习加速器，包括控制模块、数据计算模块和数据缓存模块；

所述控制模块，连接至主控处理器，用于接收所述主控处理器输入的控制信号，根据所述控制信号控制所述数据计算模块和所述数据缓存模块；

所述数据计算模块包括多个层计算单元；所述层计算单元用于执行堆叠式沙漏网络中的数据处理操作；

所述层计算单元包括：

数据调整器，用于根据预设的卷积信息对输入的图像处理数据进行重新排列；所述图像处理数据包括图像数据和权值数据；所述卷积信息包括卷积核大小和步长；

乘法器，用于对重排后的所述图像处理数据按位进行并行的乘法操作；

可配置级数的加法器，用于对所述数据调整器的输出结果和所述乘法器的输出结果执行累加操作；

所述数据缓存模块，连接至系统内存，用于获取所述系统内存中的所述图像处理数据并传输至所述数据计算模块，或将所述层计算单元的输出结果进行缓存，或将所述输出结果输入至所述层计算单元进行计算。

进一步的，所述数据调整器将所述图像数据以矩阵形式排布，按照所述卷积核大小和步长，将每一步欲进行卷积操作的向量数据依次取出，并按卷积顺序排列得到重排后的图像数据；

所述数据调整器将所述权值数据按次序读取并根据卷积顺序进行复制排列得到重排后的权值数据；