[发明专利]基于FPGA的LSTM递归神经网络硬件加速器的设计方法

权利要求书

1.基于FPGA的LSTM递归神经网络硬件加速器的设计方法，其特征在于，包括以下步骤：

S01：使用Tensorflow构建LSTM神经网络，并训练LSTM神经网络的参数；

S02：采用压缩手段将训练好的LSTM神经网络进行压缩处理，解决FPGA存储资源不足的问题；

S03：根据压缩后的LSTM网络的预测过程，确定预测运算的关键代码；

S04：设计加速器的加速框架并生成IP核；

S05：在操作系统下将硬件比特流式文件烧写到开发板中并编写IP核和硬件设备的驱动；

S06：编写用户层调用算法加速的接口。

2.根据权利要求1所述的基于FPGA的LSTM递归神经网络硬件加速器的设计方法，其特征在于，所述FPGA包括控制模块，前向计算模块，参数配置模块。

3.根据权利要求1所述的基于FPGA的LSTM递归神经网络硬件加速器的设计方法，其特征在于，所述步骤S02包括以下步骤：

对训练好的神经网络采用剪枝处理，精简参数数量，并对剪枝后的神经网络进行重训练，以保持剪枝前的预测精度；

反复迭代剪枝-重训练过程，最终精简大部分神经网络参数；

精简后的权值矩阵中大部分元素为0值，采用稀疏矩阵的存储方式，降低存储空间；

将神经网络参数的数据类型转换为字节数更低的格式，以进一步降低存储空间。

4.根据权利要求1所述的基于FPGA的LSTM递归神经网络硬件加速器的设计方法，其特征在于，所述步骤S04涉及到了稀疏矩阵与向量的乘法计算。由于稀疏矩阵的存储格式以及乘法计算过程与常规的2维稠密矩阵不同，因此硬件加速模块要专门针对稀疏矩阵进行设计；而由于稀疏矩阵的乘法计算中，每一列参与计算的参数数量不一定，因此在硬件并行的过程中使用控制器进行合理的计算任务分配，使每一个并行单元获得均匀的计算量，提高流水并行的加速效率。

5.根据权利要求2所述的基于FPGA的LSTM递归神经网络硬件加速器的设计方法，其特征在于，所述前向计算模块采用分片设计，将节点矩阵每一行内部按分片大小进行分片，权值参数矩阵每一列按照分片大小进行分片，按行将节点矩阵的每分片大小个数据与权值参数矩阵每一列对应的分片大小个数值进行点积运算，每一行计算完毕后将临时值累加得到最终结果。

6.基于FPGA的LSTM递归神经网络硬件加速器，其特征在于，包括：

CPU端，是整个系统的控制端，包含处理器Processor和内存Memory；处理器运行软件端的代码，并将加速任务加载到FPGA上工作；

FPGA端，为整个系统的硬件加速部件FPGA芯片，通过FPGA上固话的IP核实现对LSTM神经网络算法的加速；

数据总线，负责整个系统CPU端和FPGA端的数据传输；

控制总线，负责整个系统CPU端和FPGA端控制信号的传输；

内存，用于存储LSTM神经网络参数以及原始输入数据；

直接内存存取DMA，负责加速器和内存间的数据传输；

控制互联，负责控制信号线路的互联；

PE，为加速器的计算单元，内部固化了前向计算模块的各种功能单元；PE内部的运算单元包括：1)矩阵向量相乘单元，用于将输入向量和权值矩阵对应位置的元素相乘得到中间值；2)累加单元，将矩阵向量相乘单元计算得到的中间值累加得到LSTM的各个门向量值；3)激励函数单元，将累加单元得到门向量值进行激励函数处理；4)向量计算单元，对LSTM的各个门向量以及LSTM的CELL向量进行计算，最终得到新的CELL向量以及输出向量；5)CellBuffer，用于存储CELL向量值；

权值存储单元，以压缩的形式保存神经网络的权值参数。