[发明专利]一种基于异构平台的神经网络推理加速方法

说明书

本发明的一种基于异构平台的神经网络推理加速方法，包括利用处理器+FPGA的异构平台搭建神经网络加速器推理的硬件系统，处理器负责逻辑控制，FPGA负责对计算密集型任务并行加速，充分发挥异构平台的优势；首先在FPGA中设计神经网络加速器，神经网络加速器包括普通卷积模块、深度可分离卷积模块、全连接模块、池化模块、批归一化模块、激活函数模块，来完成神经网络卷积计算与输出数据的处理。然后，利用卷积分块、并行卷积计算、缓存的设置与优化、数据流优化、流水化来进行有效加速，提高了卷积神经网络加速器的运算速度和资源利用率。本发明可用于加速包含普通卷积、深度可分离卷积、批归一化、激活函数、池化、全连接算子的卷积神经网络的前向推理。

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于异构平台的神经网络推理加速方法。

背景技术

卷积神经网络是当前人工智能深度学习领域中最为重要的模型，被广泛应用在图像识别和目标检测等场景中，并获得了很高的准确度。深度学习的应用场景主要包括：智能驾驶、车辆智能定损、货物分捡、农作物辨别、工业制造中零件残缺点检测、安防领域的人脸识别等。卷积神经网络的发展也给我们带来更多挑战，权重参数量越来越多，计算量也越来越大，导致了复杂的模型很难移植到移动端和嵌入式设备中，卷积神经网络模型通常有数百层网络，有着数百万的权值参数，保存大量权值参数对边缘设备的内存要求很高，而大部分的边缘设备的存储容量都是很有限的，因此，在边缘设备上部署轻量化的卷积神经网络很重要。轻量化模型设计的主要思想在于设计更高效的网络计算方式，从而使网络参数减少的同时，不损失网络性能，目前的轻量化的神经网络，如SqueezeNet、MobileNet、ShuffleNet、Xception等，主要利用深度可分离卷积(Depthwise separable convolution)来减少参数量和计算量。

同时随着智能设备、移动终端的不断普及，AI应用部署到嵌入式设备上，对于其速度、性能和功耗都有很高的要求，目前围绕卷积神经网络加速算法有多种硬件平台设计方式：采用图形处理器(GPU)、采用专用集成电路(ASIC)、现场可编程门阵列(FPGA)设计的加速系统。GPU加速是常用的一种加速方式，但是其体积和功耗较大、成本高，不适用于边缘端的应用。ASIC加速性能好，体积和功耗可控，但是其设计难度大，开发周期长，灵活性差。FPGA是一种可以根据不同算法进行硬件电路搭建的平台，FPGA以其强大的并行能力、灵活的设计方法和较高的性能功耗比，成为了在嵌入式设备中实现对卷积神经网络进行硬件加速的最具吸引力的实现平台之一。

现阶段，大部分加速卷积神经网络推断过程的加速器设计只包含普通卷积、池化和全连接部分，从而只能支持简单的普通卷积神经网络，不能够很好的支持包含深度可分离卷积的轻量化卷积神经网络，导致很多网络复杂、性能较高且轻量化的模型无法很好的在嵌入式边缘设备上应用；大部分加速卷积神经网络推理过程的设计只使用了少量方法来优化加速过程，没有将各种方法同时结合起来使用，卷积计算和数据的处理过程不够高效，不能够充分发挥FPGA的并行性；且大部分都是将重点放在FPGA侧进行硬件加速，而基于异构平台的加速能够充分的结合处理器对逻辑的控制以及FPGA对计算密集型任务并行加速，充分发挥异构平台的优势作用，从而提高系统整体的性能。

发明内容

本发明提出的一种基于异构平台的神经网络推理加速方法，可解决上述技术问题，能够适用于卷积神经网络在边缘设备上的应用。

为实现上述目的，本发明采用了以下技术方案：

一种基于异构平台的神经网络推理加速方法，基于异构平台，所述异构平台包括处理器和FPGA的片上系统，包括以下步骤：

在FPGA中设计神经网络加速器，神经网络加速器包括计算模块和数据处理模块来完成神经网络卷积计算与输出数据的处理；然后采用缓存的设置与优化、流水化、数据流优化的方法来加快神经网络前向推理过程；

其中，所述计算模块包括普通卷积模块、深度可分离卷积模块、全连接模块；所述数据处理模块包括池化模块、批归一化模块、激活函数模块；