[发明专利]基于FPGA的LSTM递归神经网络硬件加速器的设计方法

说明书

本发明公开了一种FPGA平台上加速LSTM神经网络算法的方法，FPGA即现场可编程门阵列平台，其包括通用处理器、现场可编程门阵列以及存储模块，包括以下步骤：使用Tensorflow对构建LSTM神经网络，并训练神经网络的参数；采用压缩手段将LSTM网络参数进行压缩处理，解决FPGA存储资源不足的问题；根据压缩后的LSTM网络的预测过程，确定适用于现场可编程门阵列平台上运行的计算部分；根据确认的计算部分，确定软硬件协同计算方式；根据FPGA的计算逻辑资源、带宽情况，确定IP核固化的数量和种类，利用硬件运算单元，在现场可编程门阵列平台上进行加速。能够根据硬件资源快速设计出针对LSTM神经网络加速的硬件处理单元，处理单元相对于通用处理器有高性能、低功耗特点。

技术领域

本发明涉及计算机硬件加速领域，具体地涉及一种基于FPGA的LSTM递归神经网络硬件加速器的设计方法。

背景技术

LSTM(Long Short-Term Memory)神经网络是一种对递归神经网络(RNN)，被广泛应用于序列处理类型的应用中，其通过将普通RNN网络中的神经元替换为LSTM组件，解决了传统RNN网络训练时的长时间依赖问题。而由于代表一个神经元LSTM组件中包含四个门，每个门都要与输入节点相连，并且每个门接收的值也要通过一系列的运算得到该LSTM组件的输出值，因此当神经网络中的隐藏层包含的LSTM组件数量较多时，神经网络内部的计算任务量以及产生的功耗将会非常大。所以高性能低能耗地加速LSTM神经网络是当前的一个研究热点。

通常计算任务从表现方式上分两种：在通用处理器上，任务通常以软件代码的形式呈现，称为软件任务；在专用硬件电路上，充分发挥硬件固有的快速特性来代替软件任务，称为硬件任务。常见的硬件加速技术有专用集成电路ASIC(Application SpecificIntegrated Circuit)、现场可编程逻辑门阵列FPGA(Field Programmable Gate Array)和图形处理器GPU(Graphics Processing Unit)。ASIC是为特定用途设计开发的集成电路芯片，其具有高性能、低功耗、面积小等特点。虽然相对于FPGA，ASIC运行更快、功耗更低，而且量化生产时也更便宜。但FPGA简化了逻辑任务设计，设计周期比ASIC更短，并且FPGA拥有可重构的特点，灵活性好，方便用户动态重构功能模块。此外，生产ASIC的掩膜成本很高，随着线宽的减小，掩膜成本成指数增长。FPGA作为适用不同功能的可编程标准器件，没有如此高额的研发成本。GPU适用于大量数据的并行计算，具有高带宽、高主频、高并行性特点，而且CUDA(Compute Unified Device Architecture)通用并行计算框架的提出，使开发者更方便、快捷地设计出高性能解决方案。但GPU的的高能耗对其应用造成了一定的限制。而相比于GPU，FPGA在功耗方面具有很大的优势。

发明内容

有鉴于此，本发明目的是：提供了一种基于FPGA的LSTM递归神经网络硬件加速器的设计方法，通过FPGA硬件处理单元加速LSTM神经网络预测过程中的计算密集部分，硬件处理单元相对于通用处理器具有高性能和低功耗的特点。

本发明的技术方案是：

一种基于FPGA的LSTM递归神经网络硬件加速器的设计的方法，其特征在于，包括以下步骤：

S01：使用Tensorflow对构建LSTM神经网络，并训练神经网络的参数；

S02：采用压缩手段将LSTM网络参数进行压缩处理，解决FPGA存储资源不足的问题；

S03：根据压缩后的LSTM网络的预测过程，确定预测运算的关键代码；

S04：设计加速器的加速框架并生成IP核；

S05：在操作系统下将硬件比特流式文件烧写到开发板中并编写IP核和硬件设备的驱动；

优选技术方案中，包括控制模块，前向计算模块，参数配置模块。