[发明专利]神经网络模型的训练方法、数据处理方法和相关产品

权利要求书

1.一种神经网络模型的训练方法，其特征在于，应用于包括处理器的计算平台中，所述方法包括：

获取初始网络模型；其中，所述初始网络模型中包括多个网络层；

按照各所述网络层对应的目标数据位宽对初始训练输入数据进行逐层量化，得到各所述网络层对应的量化后的量化数据；其中，所述目标数据位宽为根据每个所述网络层的输入数据和量化后的数据之间的量化误差大于预设阈值时，按照预设步长进行递增得到的数据位宽，且所述量化误差为每间隔预设迭代次数统计的量化误差，所述初始训练输入数据包括语音数据、文本数据和图像数据中的至少一种；

根据各所述网络层的所述量化数据，对所述初始网络模型进行训练，得到训练好的所述神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述按照各所述网络层对应的目标数据位宽对初始训练输入数据进行逐层量化，得到各所述网络层对应的量化后的量化数据之前，包括：

获取各所述网络层对应的初始数据位宽；

将所述初始训练输入数据逐层输入所述初始网络模型的各网络层，并逐层执行数据位宽调整操作，得到每个所述网络层对应的目标数据位宽；其中，所述数据位宽调整操作为基于数据量化前后的量化误差调整数据位宽的操作。

3.根据权利要求2所述的方法，其特征在于，所述数据位宽调整操作包括：

获取当前网络层的当前数据位宽；

采用所述当前网络层的所述当前数据位宽对未处理数据进行量化，得到量化后的已处理数据；

获取所述未处理数据和所述已处理数据之间的量化误差；

判断所述未处理数据和所述已处理数据之间的量化误差是否大于预设的误差阈值；

若否，则将所述当前数据位宽作为所述当前网络层的所述目标数据位宽；

若是，则根据所述当前数据位宽和预设的位宽调整步进，确定所述目标数据位宽。

4.根据权利要求3所述的方法，其特征在于，所述根据所述当前数据位宽和预设的位宽调整步进确定所述目标数据位宽，包括：

将所述当前数据位宽和所述位宽调整步进之和，作为新的当前数据位宽，并采用所述新的当前数据位宽继续执行所述采用所述当前网络层的所述当前数据位宽对未处理数据进行量化，得到量化后的已处理数据的步骤，直至得到的新的已处理数据和所述未处理数据之间的量化误差小于或等于所述误差阈值为止，并将新的当前数据位宽作为所述目标数据位宽。

5.根据权利要求3或4所述的方法，其特征在于，所述获取所述未处理数据和所述已处理数据之间的量化误差，包括：

采用公式确定所述未处理数据和所述已处理数据的当前量化误差diff_bit；

其中，所述未处理数据的表达式为Z＝[z₁,z₂,...,z_m-1,z_m,]，已处理数据的表达式为所述当前数据位宽为n，m和n为自然数。

6.根据权利要求2所述的方法，其特征在于，所述将所述初始训练输入数据逐层输入所述初始网络模型的各网络层，并逐层执行数据位宽调整操作，得到每个所述网络层对应的所述目标数据位宽，包括：

获取所述目标数据位宽调试操作执行的迭代间隔次数；

将所述初始训练输入数据逐层输入所述初始网络模型的各网络层，按照所述迭代间隔次数，逐层执行所述数据位宽调整操作，得到每个所述网络层对应的所述目标数据位宽。

7.根据权利要求6所述的方法，其特征在于，所述获取所述目标数据位宽调试操作执行的迭代间隔次数，包括：

根据所述初始训练输入数据输入至各所述网络层的量化前后的平均值确定所述迭代间隔次数。

8.根据权利要求7所述的方法，其特征在于，所述根据所述初始训练输入数据输入至各所述网络层的量化前后的平均值确定所述迭代间隔次数，包括：

采用公式确定所述迭代间隔次数I，其中，β和γ为训练超参数。