[发明专利]基于工程化实现的卷积神经网络量化方法

说明书

本发明公开了一种基于工程化实现的卷积神经网路量化方法，主要解决现有技术耗费时间长，准确率不高的问题，其实现方案是：1)下载已经预训练好的浮点格式的卷积神经网络模型；2)在下载的浮点网络中定义量化层；3)在下载的浮点网络中每一层批量归一化层后面调用2)定义的量化层，并构建输入数据的量化公式对浮点输入数据进行量化；4)在1)下载的浮点网络中，构建权值量化公式对浮点权值进行量化。本发明与现有技术相比，在保持识别准确率的同时降低了图像分类任务的时间成本和存储需求，可用于专用芯片FPGA/ASIC硬件平台的部署。

技术领域

本发明属于深度学习技术领域，具体涉及一种卷积神经网络量化方法，可用于专用芯片FPGA/ASIC硬件平台的部署。

背景技术

深度学习近年来发展迅速，已经被广泛应用到各个领域，特别是计算机视觉、语音识别和自然语言处理领域。卷积神经网络是深度学习的代表，在计算机视觉领域掀起了热潮，凭借其强大的学习能力被广泛应用于图像分类任务中。为了提高图像分类任务的识别准确率，卷积神经网络的层数越来越多，结构越来越复杂。提高识别准确率的同时也付出了巨大的代价，计算复杂度和模型存储需求大量增加，这不利于卷积神经网络在功率预算有限的硬件平台的部署。因此，改进卷积神经网络的算法，降低卷积神经网络的存储需求已成为趋势，从而可以促进卷积神经网络在硬件平台FPGA和ASIC芯片上的应用。目前，将卷积神经网络使用的32位浮点数的数制量化成低位宽的定点数这种方法可以使得硬件资源占用和功耗更少。

Gupta,S.在其发表的论文“Deep learning with limited numericalprecision”(《Computer Science》,2015)中提出了使用随机舍入的方法对卷积神经网络进行定点数的量化，该方法在网络量化位宽为16的时候也能取得与网络使用32位浮点数时几乎相同的性能。但是在硬件平台中随机数的实现特别复杂，所以该方法不易于部署在硬件平台上。

Rastegari M.在其发表的论文“XNOR-Net:ImageNet Classification UsingBinary Convolutional Neural Networks”(European Conference on Computer Vision,2016:525-542)中提出了XNOR-Net，XNOR-Net将卷积神经网络量化成了二值网络，量化位宽为1，该方法虽说能最大程度地降低硬件占用的资源和消耗的功率，实现起来非常的高效。但是对大规模图像数据集imagenet做分类任务时，该方法的识别准确率与网络使用32位浮点数时得到的识别准确率相比下降超过了10％。

发明内容

本发明的目的在于针对上述现有技术的问题，提出一种基于工程化实现的卷积神经网络量化方法，以在保持识别准确率的同时降低图像分类任务的时间成本和存储需求。

本发明的基本思路是：根据硬件平台处理器的位宽将卷积神经网络量化为位宽为16、8的定点网络，对定点数整数和小数进行不同的位宽组合，对量化后的定点网络进行测试，根据测试准确率选择最适合部署在硬件平台的定点数位宽和表示格式，其实现方案包括如下：

(1)从互联网下载两个已经预训练好的浮点格式卷积神经网络模型；

(2)在(1)下载的预训练浮点模型的每一层卷积层和全连接层后面都添加一层自定义的量化层，并用该自定义的量化层对浮点形式的输入数据进行量化，量化的公式为：

其中，Convert表示将浮点输入数据转化为定点输入数据，x为浮点输入数据，IL和FL分别表示定点输入数据的整数位宽和小数位宽，round为四舍五入函数，是编程语言的内置函数，2^FL表示量化成小数位宽为FL的定点数，-2^IL-1表示定点输入数据表示的数值范围的下限，2^IL-1-2^-FL表示定点输入数据表示的数值范围的上限；