[发明专利]针对神经网络的卷积层与全连接层进行加速的电路结构

说明书

本发明属于集成电路设计技术领域，具体为一种可同时加速卷积层与全连接层的电路结构。本发明电路结构包括五部分：用于数据读取的特征/权重预取模块、用于提升数据复用率的局部缓存、用于实现矩阵乘法的矩阵运算单元、用于累加临时输出结果的临时数据累加模块以及负责数据回写的输出控制模块。该电路使用特殊的映射方法，将卷积层的运算以及全连接层的运算映射到一个固定大小的矩阵运算单元上。该电路对特征以及权重的内存排布方式进行调整，从而极大地提高了电路的访存效率。同时，电路模块的调度采用流水线的机制，使每个时钟周期所有的硬件单元都处于工作状态，提高了硬件单元使用率，从而提高了电路的工作效率。

技术领域

本发明属于集成电路设计技术领域，具体涉及一种针对神经网络的卷积层与全连接层进行加速的电路结构。

背景技术

上世纪60年代，Hubel等人通过对猫视觉皮层细胞的研究，提出了感受野这个概念，到80年代，Fukushima在感受野概念的基础之上提出了神经认知机的概念，可以看作是卷积神经网络的第一个实现网络，神经认知机将一个视觉模式分解成许多子模式（特征），然后进入分层递阶式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。

卷积神经网络是多层感知机的变种。由生物学家休博尔和维瑟尔在早期关于猫视觉皮层的研究发展而来。视觉皮层的细胞存在一个复杂的构造。这些细胞对视觉输入空间的子区域非常敏感，我们称之为感受野，以这种方式平铺覆盖到整个视野区域。这些细胞可以分为两种基本类型，简单细胞和复杂细胞。简单细胞最大程度响应来自感受野范围内的边缘刺激模式。复杂细胞有更大的接受域，它对来自确切位置的刺激具有局部不变性。卷积神经网络结构包括：卷积层，降采样层，全连接层。每一层有多个特征图，每个特征图通过一种卷积滤波器提取输入的一种特征，每个特征图有多个神经元。

卷积神经网络由于其巨大的计算量，现在很难在移动终端上进行本地运算，而大多通过云计算的方式得以实现。而卷积神经网络超过百分之九十的运算量都在于卷积层以及全连接层的计算上，通常人们为这两种运算分别设计一个单独的加速电路，从而引入了多余的芯片面积。

本发明提出了一种可同时加速卷积层与全连接层的电路结构，通过对于神经网络每一层的特征与权重进行重新排序的方法，使其均可映射到同一个矩阵运算单元（乘法器与加法器的阵列）上。从而提高了硬件的复用效率，减少芯片面积，这也意味着电路在单位面积下可以获得更高的运算吞吐率。

发明内容

本发明的目的在于针对神经网络的卷积层与全连接层的运算加速，提供一种可同时加速卷积层与全连接层的电路结构，以提高硬件复用效率，减少芯片面积。

本发明提供的针对神经网络的卷积层与全连接层进行加速的电路结构，通过将运算展开的方法使卷积层与全连接层均可映射到同一个矩阵运算单元上；并通过对神经网络每一层的特征与权重进行重新排序的方法，来减少因为展开后特征、权重读取地址的不连续而带来的访存性能损失。

本发明提供的电路结构，包括特征/权重预取模块、局部缓存、矩阵运算单元、临时数据累加模块以及输出控制模块；其中：

所述特征/权重预取模块，用于从外部存储器（DRAM）中将新的特征以及权重数据取出并放入局部缓存中，同时替换旧的、不再使用的数据。除神经网络的第一层特征外，其余的所有特征、权重均按一定方式进行重新排布过的，而第一层特征也是按照一定方式进行重新排布过的，这由软件实现；因此特征/权重预取模块不需要实现重新排布的功能；

所述局部缓，存用于缓存矩阵运算单元所需的输入数据。无论是卷积层还是全连接层，其运算中都存在着大量的数据复用，因此，局部缓存存储这些可以被复用的数据，减少对外部存储器的访问量；

所述矩阵运算单元，是一乘法器与加法器的阵列，用于实现矩阵的运算。在对特征与权重进行重新排列后，卷积层与全连接层的运算均映射为一系列的矩阵运算，这些矩阵运算通过多次调用矩阵运算模块来实现；