[发明专利]一种基于统计分析的自适应权重位宽的量化方法及装置

说明书

本发明涉及深度学习技术领域，具体为一种基于统计分析的自适应权重位宽的量化方法及装置，方法包括：获取输入数据和浮点权重，并按照额定量化位宽对输入数据和浮点权重进行量化得到量化数据和量化权重；对量化权重与量化数据进行乘加运算得到卷积和数据；确定所得到的卷积和数据中最大卷积和数据的最大位宽；获取用于存储卷积和数据的额定存储位宽；在最大位宽小于额定存储位宽的情况下，增加额定量化位宽。在量化过程中，通过统计卷积和数据确定最大位宽，并在最大位宽小于额定存储位宽的情况下，增加额定量化位宽，实现在充分利用硬件存储资源的同时，以增加位宽的方式降低量化误差。

技术领域

本发明涉及深度学习技术领域，特别是涉及一种基于统计分析的自适应权重位宽的量化方法及装置。

背景技术

随着深度学习的发展，神经网络模型被广泛应用于各个领域，模型性能提高的同时也引入了巨大的参数量和计算量。因此，模型量化应运而生，模型量化是一种将浮点计算转换成低比特定点计算的技术，通过模型量化可以有效的降低模型的计算强度、参数大小和内衬消耗。

模型量化是由模型、量化两个词语组成，在计算机视觉、深度学习的语境下，模型特指卷积神经网络，用于提取图像/视频视觉特征；量化则是指将信号的连续取值近似为有限多个离散值的过程，以典型算子卷积为例，图3为预训练模型Inception-v3的conv4层的权重分布，A部分是浮点权重的直方分布，B部分是量化权重用来近似表示浮点权重，可见，量化权重实现了用更低比特数来表示浮点权重的作用，能够降低计算量但是也带来了量化误差。

发明内容

针对上述问题，本发明实施例提供了一种基于统计分析的自适应权重位宽的量化方法及装置。

本发明实施的一方面，提供了一种基于统计分析的自适应权重位宽的量化方法，所述方法包括：

获取输入数据和浮点权重，并按照额定量化位宽对所述输入数据和浮点权重进行量化得到量化数据和量化权重；

对所述量化权重与量化数据进行乘加运算得到卷积和数据；

确定所得到的卷积和数据中最大卷积和数据的位宽，作为最大位宽；

获取用于存储卷积和数据的额定存储位宽；

在所述最大位宽小于额定存储位宽的情况下，增加所述额定量化位宽并按照增加后的额定量化位宽对所述浮点权重进行量化。

可选的，增加所述额定量化位宽的步骤，包括：

计算所述额定存储位宽与最大位宽的差值，利用所得到的差值增加所述额定量化位宽。

可选的，利用所得到的差值增加所述额定量化位宽的步骤，包括：

计算所得到的差值与所述额定量化位宽的和值；

获取所述额定量化位宽的额定上限值；

在所述和值小于所述额定上限值的情况下，利用所述和值更新所述额定量化位宽；在所述和值不小于所述额定上限值的情况下，利用所述额定上限值更新所述额定量化位宽。

本发明实施的又一方面，还提供了一种基于统计分析的自适应权重位宽的量化装置，所述装置包括：

量化模块，用于获取输入数据和浮点权重，并按照额定量化位宽对所述输入数据和浮点权重进行量化得到量化数据和量化权重；

乘加模块，用于对所述量化权重与量化数据进行乘加运算得到卷积和数据；

确定模块，用于确定所得到的卷积和数据中最大卷积和数据的位宽，作为最大位宽；

获取模块，用于获取用于存储卷积和数据的额定存储位宽；