[发明专利]一种基于循环展开的卷积神经网络硬件加速器

说明书

本发明公开了一种基于循环展开的卷积神经网络硬件加速器，包括单通道数据流硬件结构，在所述单通道数据流硬件结构中，CSC缓冲器在不同的通道中将缓冲器互连，令它们可以实现移位；通过移位，让原本重用的数据放在下一次窗口滑动的位置。本发明具有能够提高卷积过程的单元利用率、提高性能等优点。

技术领域

本发明主要涉及到卷积运算技术领域，特指一种基于循环展开的卷积神经网络硬件加速器。

背景技术

卷积运算是CNN计算中最耗时的部分，所以加速卷积成为了所有神经网络加速器的共同目标。在CNN中，所有不同形状的卷积都可以归结为以下算法：参见图1的一般卷积运算示意图，卷积层的输入是三维的输入特征图；通过和四维的权重做卷积运算，就可以提取视觉特征并生成三维输出特征图。因此，卷积运算可以看作利用权重的众多内核，来识别输入特征并最终映射成输出特征的过程。

输入特征有N个通道，即包含N张输入特征图；每张输入特征图含有H*L个神经元；输入特征和权重卷积，权重包含M个内核；每个内核包含N个通道，即每个内核有N张卷积图，每张卷积图有K*K个突触；经过卷积，得到输出特征，输出特征包含M个通道，即有M张输入特征图；每张输出特征图，含有R*C个输出激活值。卷积图作为滑动窗口在输入特征图上滑动并做乘累加运算。其中R，C的值由输入特征图的大小，卷积图的大小和步长共同决定。计算方法如公式(1),在这里不考虑填零的情况，推定形状已经完成填零操作。其中S是步长。

R＝(L-K)/(S+1),C＝(H-K)/(S+1) (1)

综上所述，给定图1中的卷积参数，计算过程可表示为图2。输出特征表示为O[m][r][c]，权重表示为W[m][n][i][j]，输入特征图被卷积图滑动卷积，表示为I[n][r·S+i][c·S+j]，通过i，j自加计算卷积图和输入特征图的乘累加。通过r，c自加决定滑动窗口位置。最基本的卷积可以表示为输入特征图和卷积图的乘累加O[r][c]+＝W[i][j]·I[r·S+i][c·S+j]。总而言之，可以将卷积运算看作一个包含六层循环的乘累加过程。它们是输入特征图循环(参数：i，j)，输入通道循环(参数：n)，输出通道循环(参数：m)和输出特征图循环(参数：r，c)。

加速卷积的思想是循环展开。对于计算卷积的循环块，将循环迭代拆分成若干小的循环块。每个小循环块利用硬件进行并行运算，以此达到加速的目的。传统的卷积神经网络加速器展开输入通道和输出通道，也就是参数m和n。但是在卷积的第一层，图片往往只包含3个通道，硬件展开因子一般远大于3，所以会有大量的单元不会参与计算，造成严重的资源浪费。此外，卷积过程中，卷积窗口不断的滑动，会有大量的数据复用，传统的卷积神经网络加速器会重复的存取这些复用的数据，造成功耗过高的问题。综上所述，传统的卷积神经网络加速器依然有很大的改进空间。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种能够提高卷积过程的单元利用率、提高性能的基于循环展开的卷积神经网络硬件加速器。

为解决上述技术问题，本发明采用以下技术方案：

一种基于循环展开的卷积神经网络硬件加速器，包括单通道数据流硬件结构，在所述单通道数据流硬件结构中，CSC缓冲器在不同的通道中将缓冲器互连，令它们可以实现移位；通过移位，让原本重用的数据放在下一次窗口滑动的位置。

作为本发明的进一步改进：所述CSC缓冲器中数据的存储采取一维的方式；依次按照通道、卷积图、行的顺序将本来是三维的数据展开成一维数据，依次存放在缓冲器中。

作为本发明的进一步改进：所述单通道数据流硬件结构中PE阵列由PE行构成，每个PE行由n个乘法器组成，总共有m个PE行，用来计算乘累加，随着数据流的流动得出最终的结果；所述CSC缓冲器将不同的神经元传递给PE阵列，并使用卷积图进行乘法和加法。