[发明专利]一种模型训练方法及装置

说明书

本申请公开了一种模型训练方法，可以应用于人工智能领域，方法包括：获取第一神经网络模型，第一神经网络模型包括卷积BN层和第一量化算子，所述卷积BN层用于根据第一权重对输入的第N批batch的数据进行卷积处理，根据BN系数对卷积处理结果进行归一化处理，并基于归一化处理结果更新所述BN系数，对更新后的所述BN系数进行所述第一权重的更新，所述第一量化算子用于对更新后的所述第一权重进行量化处理以及反量化处理，以得到第二权重，所述卷积BN层还用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理。本申请可减小神经网络中卷积层的数据运算量。

技术领域

本申请涉及人工智能领域，尤其涉及一种模型训练方法及装置。

背景技术

人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

神经网络的量化(neural network quantization)，是将浮点存储(运算)转换为整型存储(运算)的一种模型压缩技术，例如，原来一个模型的模型参数使用float32(32位的浮点)表示，量化后该模型的模型参数使用int8(8位的定点)表示，通过模型的量化操作，以较小的精度损失为代价，提高模型的运算速度。

训练感知量化(quantization aware training，QAT)是利用训练数据训练补偿量化的精度损失，其主要流程是：1、对模型训练前插入量化算子，2.、在训练过程中统计模型各层(权重和激活)数值的min和max用于计算量化因子。

QAT在模型训练阶段，需要原模型的权重输入和激活输出上插入伪量化节点SimQuant(本实施例中也可称之为量化算子)。此外，对于卷积神经网络(convolutionneural network，CNN)以及批量归一化(batch normalization，BN)结构需借助另外一个CNN实现BN折叠，实现BN系数与CNN权重的融合。在训练过程中，SimQuant会统计对应数据流(Tensor)中min和max值，用于后续scale量化因子的计算。如图2所示，QAT在进行CNN和BN的折叠时，需要构建另一个CNN对当前批batch的数据进行卷积运算，BN利用卷积运算的结果更新BN系数，进而使用更新后的BN系数构建权重，量化算子可以对构建好的权重进行量化和反量化处理，而CNN可以基于反量化后得到的权重，对当前批batch的数据进行卷积运算。然而，由于需借助另外一个CNN实现BN折叠，使得在训练过程中会有两个CNN对同一批batch的数据进行卷积运算，增加了训练过程中CNN的运算量，进而降低了训练速度。

发明内容

第一方面，本申请提供了一种模型训练方法，所述方法包括：

获取第一神经网络模型，其中，所述第一神经网络模型包括卷积BN层和第一量化算子，所述卷积BN层用于根据第一权重对输入的第N批batch的数据进行卷积处理，根据BN系数对卷积处理结果进行归一化处理，并基于归一化处理结果更新所述BN系数，对更新后的所述BN系数进行所述第一权重的更新，所述第一量化算子用于对更新后的所述第一权重进行量化处理以及反量化处理，以得到第二权重，所述卷积BN层还用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理；对所述第一神经网络模型进行模型训练，以获取训练后的第一神经网络模型。

卷积处理结果，是指对第N批batch的数据进行卷积处理后得到的结果。