[发明专利]基于细粒度数据分布对齐的神经网络后训练量化方法

说明书

基于细粒度数据分布对齐的神经网络后训练量化方法，涉及人工神经网络压缩与加速。1)计算校准数据集中每张图在预训练的全精度网络每一层的BN参数，得每个类别的代表BN参数；2)量化预训练的全精度网络得量化网络；3)生成器接受高斯噪声和随机选择的标签生成指定类别的图片，使用交叉熵损失、BN损失、代表BN损、扰动代表BN损失训练训练生成器；4)利用生成器生成的图片和校准数据集图片，使用蒸馏损失、交叉熵损失训练量化网络；5)循环2)～4)至达到预定的训练轮数；6)保留量化网络权重，即得量化后的量化网络。只需少量数据的校准数据集，可从头训练得量化网络，无需特定硬件支持，在通用硬件平台上实现网络压缩与加速。

技术领域

本发明涉及人工神经网络的压缩与加速，尤其是涉及一种基于细粒度数据分布对齐的神经网络后训练量化方法。

背景技术

近年来，深度神经网络(DNN)在计算机视觉、自然语言处理等许多领域得到广泛的应用。尽管DNN取得了巨大的成功，但不断增加的网络大小阻碍DNN在许多资源有限的平台上的部署，如移动电话、嵌入式设备等。为了克服这一困境，学术界和工业界探索多种方法来降低DNN的复杂性，以低精度格式表示全精度DNN的网络量化是一个很有前途的方向。

通过使用小型校准数据集调整量化后的DNN，后训练量化作为低精度量化的一个子主题，受到学术界和工业界的高度重视。最近的研究表明，高位宽的后训练量化模型(如8位)可以达到与全精度版本相近的性能(Krishnamoorthi R.Quantizing deepconvolutional networks for efficient inference:A whitepaper[J].arXiv preprintarXiv:1806.08342,2018.)。然而，当量化到较低精度，如4位时，会出现严重的性能下降。例如，如LAPQ(Nahshan Y,Chmiel B,Baskin C,et al.Loss aware post-trainingquantization[J].arXiv preprint arXiv:1911.07190,2019.)中所述，将ResNet-18(HeK,Zhang X,Ren S,et al.Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.2016:770-778.)量化为8位可以很好地保持全精度网络的精度(约71.5％)，但量化为4位时只能得到60.3％的top-1精度。