[发明专利]基于Transformer模型的INT8离线量化及整数推断方法

说明书

本发明提供了一种基于Transformer模型的INT8离线量化及整数推断方法，包括如下步骤：将原始Transformer浮点模型中归一化层的L2范数转换成L1范数；进行模型训练；通过少量数据进行前向推断，获取各层矩阵运算的输入数据的量化系数，提取为一般浮点数据；获取浮点模型中各线性层的权重量化系数，提取为一般浮点数据，根据计算均方误差的方法确定各层中的最优权重量化系数；将推断过程中涉及量化操作的量化系数化为2^‑n的浮点数形式，通过联合系数调整的方法来调整量化系数；基于调整后的量化系数结合L1范数的归一化层得到INT8的整数推断模型。本发明可减少模型计算所需硬件资源和模型量化带来的误差，降低硬件资源消耗和提高模型的推断速度。

技术领域

本发明涉及自然语言处理技术领域，更具体地说，涉及一种基于Transformer模型的自然语言处理神经网络模型的INT8(8位整型)离线量化方法及整数推断方法。

背景技术

随着深度学习算法的出现，人工智能迎来了第三次爆发，而深度学习算法的参数量和计算复杂性的增长对硬件提出了更高的性能要求，设计深度学习领域的专用硬件加速器是解决这一需要的有效办法。如何减少深度神经网络计算的延迟和存储是神经网络算法落地和神经网络加速器设计的重要研究方向。

模型量化是解决上述问题的理想技术方法。一般情况下，自然语言处理模型的训练和推断阶段使用的都是单精度浮点数类型完成，但是浮点数计算会占用大量的计算资源和存储资源，执行速度也很慢。使用低比特的数据格式，计算逻辑相对简单，可以提高计算效率的同时降低功耗和资源消耗。与单精度浮点数计算相比，采用INT8运算最多可以节省30倍的计算能耗和116倍的芯片面积。因此，模型量化广泛应用于深度神经网络的压缩和加速。离线量化不需要进行反向传播，直接将训练好的模型进行量化，可以减少深度学习模型的部署时间。

Transformer模型作为自然语言处理领域新的通用模型，在各方面表现全面超越LSTM等传统神经网络所付出的代价是模型复杂度和网络参数量的倍增，导致对计算能力和功耗的需求的急剧提高，使得它们难以在边缘设备中运行。将现有的卷积神经网络的INT8离线量化方法直接使用到Transformer模型会带来精度损失。为了减少INT8量化带来的精度损失和提高边缘加速器的推断效率，急需一种针对Transformer浮点模型进行优化INT8离线量化及整数推断方法。

发明内容

为克服现有技术中的缺点与不足，本发明的目的在于提供一种基于Transformer模型的INT8离线量化及整数推断方法；该方法可减少模型计算所需硬件资源和模型量化带来的误差，为硬件加速器的设计提供数据量化和量化模型推断的技术方案。

为了达到上述目的，本发明通过下述技术方案予以实现：一种基于Transformer模型的INT8离线量化及整数推断方法，包括如下步骤：

S1，将原始Transformer浮点模型中归一化层的L2范数转换成L1范数；之后对Transformer浮点模型进行模型训练，获取训练后的浮点模型及其参数；

S2，通过少量数据进行前向推断，获取浮点模型中各层矩阵运算的输入数据的量化系数S_input，提取为一般浮点数据；

S3，根据训练完的浮点模型，获取浮点模型中各线性层的权重量化系数，提取为一般浮点数据，根据计算均方误差的方法确定各线性层中的权重数据的最佳量化系数S_w；

S4，将推断过程中涉及量化操作的量化系数化为2^-n的浮点数形式，通过联合系数调整的方法来调整量化系数；

S5，基于调整后的量化系数结合L1范数的归一化层得到INT8的整数推断模型。

进一步地，所述步骤S1中，根据以下公式进行归一化层的计算：