[发明专利]一种面向FPGA部署的轻量神经网络设计和量化方法

说明书

本发明公开了一种面向FPGA部署的轻量神经网络设计和量化方法，包括：以ShuffleNet v2为基础，对网络进行优化设计，获得基准网络；对基准网络进行训练获得全精度模型Msubgt;0/subgt;，判断准确率是否达到要求；按照基准网络结构，面向硬件量化部署进行基准量化方法设计；在全精度模型Msubgt;0/subgt;的基础上，使用基准量化方法量化训练得到量化模型Msubgt;1/subgt;，接下来每次都以上一次得到的量化模型Msubgt;i‑1/subgt;为基准，重复使用基准量化方法训练量化，直到准确率损失大于阈值，停止训练，得到符合要求的量化模型。本发明提出的方法所获得的神经网络在结构上对FPGA十分友好，网络的参数量、计算量和内存占用大大降低，非常适合在FPGA上进行加速部署。

技术领域

本发明涉及深度学习技术领域，具体涉及一种面向FPGA部署的轻量神经网络设计和量化方法。

背景技术

在医疗检测、边缘计算等一些现实任务中，神经网络需要在资源有限的嵌入式设备上被实时的执行，由于功耗、尺寸、资源和速度的限制，使用现场可编程门阵列(FieldProgrammable Gate Array，FPGA)加速神经网络推理得到了广泛的研究和应用。虽然已经出现了不少性能良好的FPGA加速器，但是大多数FPGA加速器都是在硬件端去加速成熟的神经网络。然而，大多数主流的神经网络都是基于CPU/GPU平台去设计的，FPGA与CPU/GPU有着完全不同的硬件结构和特性，这使得很多在CPU/GPU平台上适用的网络结构在FPGA上难以适用。此外，主流的网络模型参数大多是32bit/64bit的浮点数，虽然浮点数具有更高的精度，但在FPGA上部署十分困难。以上问题需要硬件层面进行大量的优化设计，这大大加剧了FPGA加速器的开发和应用的难度。

发明内容

本发明的目的在于提供一种面向FPGA部署的轻量神经网络设计和量化方法。

实现本发明目的的技术解决方案为：第一方面，本发明提供一种面向FPGA部署的轻量神经网络设计和量化方法，包括以下步骤：

步骤S1、以ShuffleNet v2为基础，对网络进行优化设计，获得基准网络；

步骤S2、对基准网络结构调整，优化算法和损失函数，进行训练获得全精度模型M₀；

步骤S3、根据测试集准确率判断M₀是否达到要求，若满足则进入步骤S4；不满足则更改网络结构，修改优化函数、学习率和损失函数这些参数的数值，并转至步骤S2重新训练；

步骤S4、按照基准网络结构，面向硬件量化部署进行基准量化方法设计；

步骤S5、在全精度模型M₀的基础上，使用基准量化方法量化训练得到量化模型M₁；

步骤S6、在量化模型M_i-1的基础上，使用基准量化方法量化训练得到量化模型M_i，其中i1；

步骤S7、计算M_i在测试集上的准确率比M₀减少了多少，即量化带来的准确率损失，若该值小于设定的阈值，则进入步骤S8；否则转至步骤S继续量化训练；

步骤S8、得到量化模型Mi，用于后续FPGA硬件部署。

第二方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法的步骤。

第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法的步骤。

第四方面，本发明提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述的方法的步骤。