[发明专利]神经网络中位宽定点化方法、装置、终端和存储介质

说明书

本申请公开了一种神经网络中位宽定点化方法、装置、移动终端和存储介质，属于图像检测技术领域。方法包括：获取神经网络对应的浮点模型和多个样本数据；基于多个样本数据，对浮点模型中的浮点参数、输入数据和输出数据分别进行定点转换，得到浮点参数的第一量化范围、输入数据的第二量化范围和输出数据的第三量化范围；根据第一量化范围、第二量化范围和第三量化范围，基于神经网络的整型卷积运算，对浮点参数的第一量化范围进行调整，得到第四量化范围；将浮点模型中的浮点参数的取值范围调整为第四量化范围得到定点模型。本申请中将浮点运算转为定点运算，提高模型卷积运算速度，降低了内存资源、硬盘存储资源和电量的消耗以及提高了运行速度。

技术领域

本申请涉及神经网络技术领域，特别涉及一神经网络中位宽定点化方法、装置、终端和存储介质。

背景技术

随着卷积神经网络在目标检测、语义分割和图像分类等计算机视觉领域的发展，以及移动终端的高速发展，让研究者看到了将卷积神经网络与移动终端相结合的契机。

目前，研究者直接将卷积神经网络的算法部署至移动终端上。然而，基于卷积神经网络的目标检测、语义分割和图像分类等往往依赖于高性能的处理器，而移动终端的处理器性能往往比较低。因此，直接将卷积神经网络的算法部署至移动终端不仅会消耗移动终端大量内存资源、硬盘存储资源以及电量，还会降低移动终端的运行速度。

发明内容

本申请提供了一种神经网络中位宽定点化方法、装置、终端和存储介质，可以解决现有技术中的消耗移动终端大量内存资源、硬盘存储资源和电量以及降低移动终端的运行速度的问题。技术方案如下：

一方面，本申请提供了一种神经网络中位宽定点化方法，所述方法包括：

获取神经网络对应的浮点模型和多个样本数据；

基于所述多个样本数据，对所述浮点模型中的浮点参数、输入数据和输出数据分别进行定点转换，得到所述浮点参数的第一量化范围、所述输入数据的第二量化范围和所述输出数据的第三量化范围；

根据所述第一量化范围、所述第二量化范围和所述第三量化范围，基于所述神经网络的整型卷积运算，对所述浮点参数的第一量化范围进行调整，得到第四量化范围；

将所述浮点模型中的浮点参数的取值范围调整为所述第四量化范围，得到定点模型。

在一个可能的实现方式中，所述基于所述多个样本数据，对所述浮点模型中的浮点参数、输入数据和输出数据分别进行定点转换，得到所述浮点参数的第一量化范围、所述输入数据的第二量化范围和所述输出数据的第三量化范围，包括：

通过所述浮点模型对所述多个样本数据进行多层浮点卷积运算，得到每层浮点卷积运算的最大输入值和最大输出值；

基于所述每层浮点卷积运算的最大输入值和最大输出值，分别确定所述每层浮点卷积运算的最大输入值的第一浮点位宽和最大输出值的第二浮点位宽；

根据所述每层浮点卷积运算的最大输入值的第一浮点位宽和最大输出值的第二浮点位宽，确定所述输入数据的第二量化范围和所述输出数据的第三量化范围；

根据所述第二量化范围和所述第三量化范围，通过所述反向卷积运算，得到所述浮点参数的第一量化范围。

在另一个可能的实现方式中，所述基于所述每层算法的最大输入值和最大输出值，分别确定所述最大输入值的第一浮点位宽和所述最大输出值的第二浮点位宽，包括：

基于所述最大输入值和所述最大输出值，分别确定所述最大输入值的第一整数位宽和所述最大输出值的第二整数位宽；

根据存储所述最大输入值的第一总位宽、所述最大输入值的第一符号位宽，和所述第一整数位宽，确定所述最大输入值的第一浮点位宽；