[发明专利]基于工程化实现的卷积神经网络量化方法

摘要

本发明公开了一种基于工程化实现的卷积神经网路量化方法，主要解决现有技术耗费时间长，准确率不高的问题，其实现方案是：1)下载已经预训练好的浮点格式的卷积神经网络模型；2)在下载的浮点网络中定义量化层；3)在下载的浮点网络中每一层批量归一化层后面调用2)定义的量化层，并构建输入数据的量化公式对浮点输入数据进行量化；4)在1)下载的浮点网络中，构建权值量化公式对浮点权值进行量化。本发明与现有技术相比，在保持识别准确率的同时降低了图像分类任务的时间成本和存储需求，可用于专用芯片FPGA/ASIC硬件平台的部署。

主权项

1.一种基于工程化实现的卷积神经网络量化方法，包括：(1)从互联网下载两个已经预训练好的浮点格式卷积神经网络模型；(2)在(1)下载的预训练浮点模型的每一层卷积层和全连接层后面都添加一层自定义的量化层，并用该自定义的量化层对浮点形式的输入数据进行量化，量化的公式为：其中，Convert表示将浮点输入数据转化为定点输入数据，x为浮点输入数据，IL和FL分别表示定点输入数据的整数位宽和小数位宽，round为四舍五入函数，是编程语言的内置函数，2FL表示量化成小数位宽为FL的定点数，‑2IL‑1表示定点输入数据表示的数值范围的下限，2IL‑1‑2‑FL表示定点输入数据表示的数值范围的上限；(3)对(1)下载的预训练浮点模型中已经训练好的浮点权值进行量化，量化的公式为：其中，Convert表示将浮点权值转化为定点权值，w为浮点权值，IL′和FL′分别表示定点权值的整数位宽和小数位宽，round为四舍五入函数，是编程语言的内置函数，2FL′表示量化成小数位宽为FL′的定点数，‑2IL′‑1表示定点权值表示的数值范围的下限，2IL′‑1‑2‑FL′表示定点权值表示的数值范围的上限。