[发明专利]神经网络模型的训练方法及装置

权利要求书

1.一种神经网络模型的训练方法，其特征在于，包括：

获取神经网络初始模型；

对所述神经网络初始模型的网络参数进行参数量化以生成参数量化神经网络模型；以及

对所述参数量化神经网络模型进行激活量化。

2.如权利要求1所述的神经网络模型的训练方法，其特征在于，所述参数量化神经网络模型包括多个网络层，所述对所述参数量化神经网络模型进行激活量化，包括：

获取激活函数，通过所述激活函数对所述参数量化神经网络模型的多个网络层的计算结果进行激活以生成激活结果；

在所述激活结果向下一个网络层传输之前，对所述激活结果进行激活量化，直至完成反向计算并获取反向传递梯度；以及

根据所述反向传递梯度对所述参数量化神经网络模型进行更新。

3.如权利要求1或2所述的神经网络模型的训练方法，其特征在于，所述参数量化和激活量化的量化模型均为其中，W为网络参数或激活结果，α_i为大于零的浮点数，β_i为具有与W相同大小的矩阵，β_i的取值为-1或1，n为用于表征W的二进制数字的比特数量。

4.如权利要求3所述的神经网络模型的训练方法，其特征在于，所述对所述激活结果进行激活量化，包括：

根据所述量化模型将所述激活结果转换为第一量化表示；

根据所述第一量化表示计算所述激活结果对应的α_i和β_i；以及

根据计算的α_i和β_i计算所述激活结果对应的反量化结果，并将所述反量化结果传输至下一个网络层。

5.如权利要求4所述的神经网络模型的训练方法，其特征在于，所述激活结果的取值范围为[-0.5,+0.5]。

6.如权利要求3所述的神经网络模型的训练方法，其特征在于，所述对所述神经网络初始模型的网络参数进行参数量化以生成参数量化神经网络模型，包括：

根据所述量化模型将所述网络参数转换为第二量化表示；

根据所述第二表示计算所述网络参数对应的α_i和β_i；

根据计算的α_i和β_i计算所述网络参数对应的反量化网络参数；以及

根据所述反量化网络参数对所述神经网络初始模型进行更新以生成参数量化神经网络模型。

7.如权利要求3所述的神经网络模型的训练方法，其特征在于，所述获取神经网络初始模型，包括：

通过单精度训练算法形成所述神经网络初始模型。

8.一种神经网络模型的训练装置，其特征在于，包括：

获取模块，用于获取神经网络初始模型；

第一处理模块，用于对所述神经网络初始模型的网络参数进行参数量化以生成参数量化神经网络模型；以及

第二处理模块，用于对所述参数量化神经网络模型进行激活量化。

9.如权利要求8所述的神经网络模型的训练装置，其特征在于，所述参数量化神经网络模型包括多个网络层，所述第二处理模块包括第一单元、第二单元、第三单元：

所述第一单元，用于获取激活函数，通过所述激活函数对所述参数量化神经网络模型的多个网络层的计算结果进行激活以生成激活结果；

所述第二单元，用于在所述激活结果向下一个网络层传输之前，对所述激活结果进行激活量化，直至完成反向计算并获取反向传递梯度；以及

所述第三单元，用于根据所述反向传递梯度对所述参数量化神经网络模型进行更新。