[发明专利]神经网络中位宽定点化方法、装置、终端和存储介质

权利要求书

1.一种神经网络中位宽定点化方法，其特征在于，所述神经网络用于实现图像分类任务、图像语义分割任务、以及目标检测任务中的任一种；所述方法包括：

获取所述神经网络对应的浮点模型和多个样本图像；

通过所述浮点模型对所述多个样本图像进行多层浮点卷积运算，得到每层浮点卷积运算的最大输入值和最大输出值；其中，所述最大输入值为输入至该层中的所述多个样本图像的特征图中的最大特征值，所述最大输出值为该层输出的所述多个样本图像的特征图中的最大特征值；

基于所述每层浮点卷积运算的最大输入值和最大输出值，分别确定所述每层浮点卷积运算的最大输入值的第一浮点位宽和最大输出值的第二浮点位宽；

根据所述每层浮点卷积运算的最大输入值的第一浮点位宽和最大输出值的第二浮点位宽，确定所述神经网络各层的输入数据的第二量化范围和所述神经网络各层的输出数据的第三量化范围；

根据所述第二量化范围和所述第三量化范围，通过反向卷积运算，得到所述浮点参数的第一量化范围；

根据所述第一量化范围、所述第二量化范围和所述第三量化范围，基于所述神经网络的整型卷积运算，对所述浮点参数的第一量化范围进行调整，得到第四量化范围；

将所述浮点模型中的浮点参数的取值范围调整为所述第四量化范围，得到定点模型。

2.根据权利要求1所述的方法，其特征在于，所述基于所述每层算法的最大输入值和最大输出值，分别确定所述最大输入值的第一浮点位宽和所述最大输出值的第二浮点位宽，包括：

基于所述最大输入值和所述最大输出值，分别确定所述最大输入值的第一整数位宽和所述最大输出值的第二整数位宽；

根据存储所述最大输入值的第一总位宽、所述最大输入值的第一符号位宽，和所述第一整数位宽，确定所述最大输入值的第一浮点位宽；

根据存储所述最大输出值的第二总位宽、所述最大输出值的第二符号位宽和所述第二整数位宽，确定所述最大输出值的第二浮点位宽。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一量化范围、所述第二量化范围和所述第三量化范围，基于所述神经网络的整型卷积运算，对所述浮点参数的第一量化范围进行调整，得到第四量化范围，包括：

通过反向卷积运算和所述多个样本数据，确定输出梯度、参数梯度和输入梯度；

根据所述输出梯度和所述输入梯度，更新所述第二量化范围和所述第三量化范围，得到第五量化范围和第六量化范围；

根据所述第五量化范围和所述第六量化范围，通过所述整型卷积运算，确定所述整型参数的上限值；

根据所述整型参数的上限值和所述参数梯度，更新所述第一量化范围，得到第四量化范围。

4.根据权利要求1所述的方法，其特征在于，所述将所述浮点模型中的浮点参数的取值范围调整为所述第四量化范围，得到定点模型之后，所述方法还包括：

获取待处理图像，并确定所述待处理图像的特征图；

通过所述定点模型，对所述特征图进行多层整型卷积运算，得到定点数据；

将所述定点数据还原成浮点数据。

5.根据权利要求4所述的方法，其特征在于，所述通过所述定点模型，对所述特征图进行多层整型卷积运算，得到定点数据，包括：

将所述特征图的特征值和所述定点模型中的第四量化范围进行整型卷积运算，得到第一层卷积运算结果；

将所述第一层卷积运算结果作为第二层卷积运算的输入，再次进行整型卷积运算，直到进行多层整型卷积运算，得到第N层卷积运算结果，N为多层向前运算的层数；

将所述第N层卷积运算结果作为所述定点数据。

6.根据权利要求4所述的方法，其特征在于，所述将所述定点数据还原成浮点数据，包括：

确定将定点数据转换为浮点数据的比例系数；

将所述定点数据乘以所述比例系数，得到所述浮点数据。