[发明专利]一种卷积神经网络量化方法及装置、计算机可读存储介质

权利要求书

1.一种卷积神经网络量化方法，其特征在于，该方法包括如下步骤：

在利用卷积神经网络进行推理过程中，获取当前数据集中的所有图像在卷积神经网络各层中的特征值数据；

根据所述特征值数据中的所有特征值所处的数值范围设置定点整数位数，并根据所述定点整数位数确定定点小数位数；

测试所述定点整数位数和所述定点小数位数对应的至少一种定点格式的精度；

判断是否存在至少一种定点格式的精度满足设定的精度：如果是，则利用具有最高精度的定点格式对所述卷积神经网络进行量化；如果否，则对所述卷积神经网络进行分层量化。

2.根据权利要求1所述的卷积神经网络量化方法，其特征在于，对所述卷积神经网络进行分层量化的步骤包括：

将所述卷积神经网络中的待量化层中的所有特征值进行从小到大或从大到小排序，以得到特征值集合；

利用所述特征值集合中预设区间范围的特征值所处的数值范围确定当前待量化层的定点整数位数和定点小数位数；

根据当前待量化层的定点整数位数和定点小数位数确定当前待量化层的至少一种定点格式；

利用具有满足设定的精度的定点格式对当前待量化层进行量化，直至所述卷积神经网络中的所有待量化层均分层量化完成。

3.根据权利要求2所述的卷积神经网络量化方法，其特征在于，

在得到待量化层的特征值集合之后，将所述特征值集合划分为三个子集合：第一集合、第二集合及第三集合，利用第二集合中的特征值所处的数值范围确定当前待量化层的定点整数位数和定点小数位数；

其中，第一集合中的任一值≥第二集合中的任一值≥第三集合中的任一值。

4.根据权利要求3所述的卷积神经网络量化方法，其特征在于，在对所述特征值集合进行划分时：

从所述特征值集合中抽出10％的数据量作为第一集合，从所述特征值集合中抽出80％的数据量作为第二集合，并将剩余的10％的数据量作为第三集合。

5.根据权利要求1所述的卷积神经网络量化方法，其特征在于，

所述根据定点整数位数确定定点小数位数，包括：

根据所述定点整数位数确定量化位宽，利用所述量化位宽、所述定点整数位数及符号位计算所述定点小数位数；其中，所述量化位宽等于所述定点整数位数、所述定点小数位数与所述符号位之和。

6.根据权利要求1所述的卷积神经网络量化方法，其特征在于，

所述根据特征值数据中的所有特征值所处的数值范围设置定点整数位数，包括：

根据所述特征值数据中的所有特征值所处的数值范围确定最大值和最小值，依据所述最大值和所述最小值设置所述定点整数位数。

7.一种卷积神经网络量化装置，其特征在于，该装置包括：

特征获取模块，用于在利用卷积神经网络进行推理过程中获取当前数据集中的所有图像在卷积神经网络各层中的特征值数据；

定点设置模块，用于根据所述特征值数据中的所有特征值所处的数值范围设置定点整数位数，并用于根据所述定点整数位数确定定点小数位数；

精度测试模块，用于测试所述定点整数位数和所述定点小数位数对应的至少一种定点格式的精度；

精度比较模块，用于判断是否存在至少一种定点格式的精度满足设定的精度；

整体量化模块，用于在存在至少一种定点格式的精度满足设定的精度的条件下利用具有最高精度的定点格式对所述卷积神经网络进行量化；

分层量化模块，用于在无定点格式的精度满足设定的精度的条件下对所述卷积神经网络进行分层量化。