[发明专利]一种卷积神经网络CNN硬件加速器及加速方法

说明书

本发明公开一种卷积神经网络CNN硬件加速器及加速方法，该加速器包括用于缓存输入特征图片数据的输入缓冲以及分别共用相同输入特征图片数据进行CNN卷积运算的多个运算单元，每个运算单元包括卷积核缓冲、输出缓冲以及由多个MAC部件构成的乘加单元，卷积核缓冲接收从外部存储部件返回的卷积核数据，分别提供给乘加单元中各个MAC部件，各个MAC部件分别接收输入特征图片数据、卷积核数据进行乘累加运算，运算的中间结果写入输出缓冲中；该加速方法为利用上述加速器的方法。本发明能够提高CNN硬件加速性能，且具有数据重用率及效率高、数据搬移量少、可扩展性能好，以及系统所需带宽、硬件开销小等优点。

技术领域

本发明涉及深度学习(Deep Learning，DL)硬件加速技术领域，尤其涉及一种卷积神经网络CNN(Convolution Neural Networks，卷积神经网络)硬件加速器及加速方法。

背景技术

卷积神经网络CNN是深度学习中最重要的算法之一，其因具有精度高、权值量少的特点而被广泛地应用于目标识别、无人驾驶以及人工智能等多个领域。卷积神经网络CNN的各网络层中卷积层占据了整个网络90％以上的运算量和运算时间，对卷积层的运算进行加速是提升CNN性能的关键，因而亟需设计CNN硬件加速器来提升卷积运算效率。

CNN卷积层算法具有运算量庞大和运算机制复杂两大特点，其中，运算量庞大主要体现在卷积层的权重数据量以及特征图片数据量规模庞大，卷积过程中需要进行大量的乘累加运算，运算机制复杂则是由于卷积需要同时处理多个卷积核和多个通道的运算，控制过程复杂。CNN卷积层算法的上述两个特点使得设计高效低开销的CNN硬件加速器难度比较大。

目前CNN加速器通常是采用脉动阵列结构，脉动阵列结构具有设计简单而规则、容易实现高并行性，且运算单元间通信比较简单的优势，但这种结构也存在明显的缺点，主要包括：

1)采用脉动阵列结构时，运算单元(PE)易出现闲置率较高的情况，进而导致降低加速器的效率；

2)采用脉动阵列结构时，由于需要带宽的成比例增加来维持所需要的加速倍数，因而脉动阵列的可扩展性差。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种数据重用率及效率高、数据搬移量少、可扩展性能好，以及系统所需带宽、硬件开销小的卷积神经网络CNN硬件加速器及加速方法。

为解决上述技术问题，本发明提出的技术方案为：

一种卷积神经网络CNN硬件加速器，包括用于缓存输入特征图片数据的输入缓冲以及分别共用相同输入特征图片数据进行CNN卷积运算的多个运算单元，每个所述运算单元包括卷积核缓冲、输出缓冲以及由多个MAC部件构成的乘加单元，所述卷积核缓冲接收从外部存储部件返回的卷积核数据，分别提供给所述乘加单元中各个所述MAC部件，各个所述MAC部件分别接收所述输入特征图片数据、所述卷积核数据进行乘累加运算，运算的中间结果写入所述输出缓冲中。

作为本发明加速器的进一步改进：还包括分别与输入缓冲、运算单元连接的仲裁电路，所述仲裁电路对访问外部存储部件的请求进行仲裁，以及分别将外部存储部件返回的运算参数写入参数寄存器、返回的卷积核数据写入所述卷积核缓冲和返回的输入特征图片数据写入所述输入缓冲中。

作为本发明加速器的进一步改进：所述仲裁电路通过接口电路与外部存储部件通信。

作为本发明加速器的进一步改进：所述输入缓冲配置为支持跨步按块访问的两维编址方式，其中每次按块取数的块尺寸等于所述乘加单元中所述MAC部件的数量。

作为本发明加速器的进一步改进：所述卷积核缓冲和/或所述输出缓冲采用乒乓机制以同时进行读写访问。

本发明进一步提供利用上述卷积神经网络CNN硬件加速器的加速方法，步骤包括：