[发明专利]EfficientNet的注意力机制的硬件计算方法

说明书

本发明提供一种EfficientNet的注意力机制的硬件计算方法，该方法对EfficientNet的注意力机制模块实现了硬件的计算，对深度卷积层后的注意力机制模块设计了硬件进行相应计算，减少注意力机制模块所需计算时间，加速得到在深度卷积后进行注意力机制模块运算的结果特征。有助于卷积层的流水式运行，减少卷积神经网络卷积块的计算延时。

技术领域

本发明涉及卷积神经网络在图像检测和识别方法领域，更具体地，涉及一种EfficientNet的注意力机制的硬件计算方法。

背景技术

卷积神经网络在图像检测和识别领域有效地应用，但是移动端的系统在部署卷积神经网络(CNN)完成实时目标识别时，使用移动端的中央处理器(CPU)去完成卷积计算的计算挑战是非常大的。因此，采用专用集成电路(ASIC)，现场可编程逻辑门阵列(FPGA)加速器和图形处理单元(GPU)作为协处理器来提高识别的速度，减少识别延时，减少中央处理器的计算负担具有重要的意义。在移动端侧的目标识别系统还需要具有低功耗，相比起GPU，基于FPGA的卷积神经加速器具有低功耗的优势。

快速发展的卷积神经网络具有更复杂的结构，其表现为更深层的网络层数，更多的网络分支处理。传统的标准的卷积神经网络有大量的计算和参数量，很难在移动端或者嵌入式设备中部署，而深度可分离卷积神经网络的出现减轻了标准卷积的参数和计算量，适合在移动端或嵌入式端部署。谷歌在2019年提出EfficientNet卷积神经网络，通过放大EfficientNet b0基础模型，获得了一系列EfficientNet模型。但EfficientNet具有残差分支和注意力机制模块使得其网络结构复杂，不利于在移动端或者嵌入式侧部署EfficientNet网络。而FPGA的硬件可编程性质就能适应到卷积神经网络结构的变化，在FPGA上部署EfficientNet卷积神经网络加速器具有较高的价值。

EfficientNet卷积神经网络是由MBconvBlock块的通过重复结合而成的结构。MBconvBlock模块的拓朴图见图1：输入到卷积和激活，到深度卷积和激活，将结果按每个通道进行全局平均池化，进行1维卷积降维，1维卷积升维。进行每个通道相乘，后进行卷积。如果该MBconvBlock块的步长为1，就进行输入残差相加，从而完成一个完成的MBconvBlock块的计算。

EfficientNet卷积神经注意力机制的计算过程见图2，将深度卷积后的结果，按每个通道为单位，进行全局平均池化，得到与通道数量一样的系数，如C个通道得到C个系数。将C个系数进行1维卷积的降维变成C/r个系数，r为一个因子。再将C/r个系数进行1维卷积升维变成C个系数。EfficientNet的MBconvBlock块的深度卷积的每个通道的像素和对应通道的系数进行相乘，得到经过注意力机制的特征图结果。

目前基于FPGA的卷积神经网络加速器的单一中央计算阵列适合参数量大的，网络层数少的传统标准卷积。对于新型的深度可分离的卷积的结构，尤其是深度卷积的计算，由于其计算较传统标准卷积更为稀疏，导致一个传统标准的中央卷积计算阵列计算效率不高。本发明的设计的硬件能对EfficientNet的MBconvBlock块的深度卷积进行计算加速；目前较新的卷积神经网络通常带有注意力机制模块，比如MobileNet V3和EfficientNet系列的网络。但目前的卷积神经网络加速器没有专门处理注意力机制的硬件，导致在处理MobileNet V3，EfficientNet等带注意力机制模块的卷积神经网络的时候，需要用软件等其他方法处理。没有专门处理注意力机制的硬件，会导致计算注意力机制的所需的时间较长，会阻塞到接下来的卷积层的运行，从而使得卷积神经网络的计算延时加大。

发明内容

本发明提供一种EfficientNet的注意力机制的硬件计算方法，该方法有助于卷积层的数据以流水的方式运行，减少卷积神经网络的计算延时。

为了达到上述技术效果，本发明的技术方案如下：

一种EfficientNet的注意力机制的硬件计算方法，包括以下步骤：