[发明专利]一种优化int8的量化方法及系统

说明书

本发明提供了一种优化int8的量化方法及系统，所述方法执行以下步骤：获取训练神经网络后保存的浮点模型；计算神经网络各层中各通道中的权重量化缩放因子；采用KL散度算法计算神经网络各层中的激活值量化缩放因子；根据余弦距离确定神经网络各层中的最优权重量化缩放因子和最优激活值量化缩放因子；基于最优权重量化缩放因子和最优激活值量化缩放因子，得到int8的整型结果。根据本发明的方法，根据最优权重量化缩放因子和最优激活值量化缩放因子，自动进行微调，得到int8的整型结果，可以避免极端值的影响；同时，采用KL散度计算激活值量化缩放因子，并利用余弦距离自动地进行微调，可以减小量化误差，避免极端值的影响。

技术领域

本发明涉及深度学习技术领域，特别涉及一种优化int8的量化方法及系统。

背景技术

深度学习理论及其相关技术日新月异的今天，其相关的应用也越来越多地出现在大众的视野当中。优秀的深度学习及人工智能技术不断地被应用在我们的日常生活当中，如图片、视频处理、自动驾驶、人脸识别等等，但同时大量的浮点运算、内存、电量开销，使得目前这些应用仍然存在着运行成本高昂、速度缓慢、并行处理效率较低等问题。比如在这些应用中最常用的深度卷积神经网络模型ResNet50(深度残差网络50)，其浮点运算量达到了4.14GFlops(每秒千兆次浮点运算)。一款定制的自动驾驶软件动辄几万甚至几十万，专业图片与视频的处理仍然需要远端强大的服务器处理，商场大流量的人脸检测与监控需要专门的机房用来运行相关的设备及软件等等。使用成本与运行效率等成为了人工智能技术在相关移动及嵌入式设备上部署和应用小型化的瓶颈和障碍。

目前解决运算开销和使用成本的方案有深度卷积网络模型的深度压缩和量化，针对卷积运算优化的低秩分解、网络模型蒸馏以及小型化网络的设计。在这些解决方案当中，共同的目标是尽量要保持数据集的测试精度，又能有效地降低计算量，提高计算效率，降低相应的开销。网络模型的深度压缩和量化作为简单且高效的解决方案，一直被人们研究和使用，其他几种解决方案因实现的复杂性，不同的网络结构需要深度定制，不能够很好地达到相关深度卷积网络模型地精度等原因而不被大家广泛使用。深度卷积网络模型的量化可将计算设备上的浮点运算转化为整数甚至移位计算，它不仅是网络模型压缩的关键同时可大幅降低网络计算的时间和开销。

目前int8(8位整型)的量化方法是针对校准数据集获取激活值，对激活值进行2的次幂膨胀量化，并统计每一层的量化指数直方图；根据每一层的量化指数直方图计算得到层量化指数的均值并将均值设置为量化指数的上限，然后进行定点乘加，达到加速效果。然而，这种量化方法的弊端在于，当通道有极大值时，量化误差极大。

为了解决生成量化表非最优，影响量化精度的问题，亟需一种优化int8的量化方法及系统。

发明内容

本发明提供一种优化int8的量化方法及系统，用以解决生成量化表非最优，影响量化精度的问题。

本发明提供了一种优化int8的量化方法，所述方法执行以下步骤：

步骤1：获取训练神经网络后保存的浮点模型；

步骤2：计算所述神经网络各层中各通道中的权重量化缩放因子；

步骤3：采用KL散度算法计算所述神经网络各层中的激活值量化缩放因子；

步骤4：根据余弦距离确定所述神经网络各层中的最优权重量化缩放因子和最优激活值量化缩放因子；

步骤5：基于所述最优权重量化缩放因子和所述最优激活值量化缩放因子，得到int8的整型结果。

进一步地，在所述步骤2中，根据以下公式计算所述神经网络各层中各通道中的权重量化缩放因子：

scale＝127/x_max (1)