[发明专利]针对神经网络的卷积层与全连接层进行加速的电路结构

摘要

本发明属于集成电路设计技术领域，具体为一种可同时加速卷积层与全连接层的电路结构。本发明电路结构包括五部分：用于数据读取的特征/权重预取模块、用于提升数据复用率的局部缓存、用于实现矩阵乘法的矩阵运算单元、用于累加临时输出结果的临时数据累加模块以及负责数据回写的输出控制模块。该电路使用特殊的映射方法，将卷积层的运算以及全连接层的运算映射到一个固定大小的矩阵运算单元上。该电路对特征以及权重的内存排布方式进行调整，从而极大地提高了电路的访存效率。同时，电路模块的调度采用流水线的机制，使每个时钟周期所有的硬件单元都处于工作状态，提高了硬件单元使用率，从而提高了电路的工作效率。

主权项

1.一种针对神经网络的卷积层与全连接层进行加速的电路结构，其特征在于，通过将运算展开的方式使卷积层与全连接层均映射到同一个矩阵运算单元上；并通过对神经网络每一层的特征与权重进行重新排序的方式，来减少因为展开后特征、权重读取地址的不连续而带来的访存性能损失；其电路结构包括特征/权重预取模块、局部缓存、矩阵运算单元、临时数据累加模块以及输出控制模块；其中：所述特征/权重预取模块，用于从外部存储器中将新的特征以及权重数据取出并放入局部缓存中，同时替换旧的、不再使用的数据。除神经网络的第一层特征外，其余的所有特征、权重均按照一定的方式进行重新排布过，而第一层特征的重新排布也是按照一定的方式重新排布过的，因此特征/权重预取模块不需要实现重新排布的功能；所述局部缓存用于缓存矩阵运算单元所需的输入数据；所述矩阵运算单元，用于实现矩阵的运算；在对特征与权重进行重新排列后，卷积层与全连接层的运算均映射为一系列的矩阵运算，这些矩阵运算通过多次调用矩阵运算模块来实现；所述临时数据累加模块，用于累加矩阵运算模块送出的数据；在多次累加后，将累加的结果即下一层网络的输入特征，送给输出控制模块；所述输出控制模块，负责将累加后的结果按上述重新排布方式顺序写回外部存储器。