[发明专利]计算神经网络压缩最佳定点位数的方法、存储介质和装置

权利要求书

1.一种计算神经网络压缩最佳定点位数的方法，其特征在于，所述方法在嵌入式系统中实现，所述方法应用于定点化深度学习算法中，所述定点化深度学习算法包括N个卷积层，所述方法用于为卷积层n的卷积层参数确定定点化处理的预设进制位数FP_n，n＝1,2…N，包括：

步骤11：设置FP_n为初始值；

步骤12：按照当前FP_n，将所述卷积层参数进行定点化处理，以构建当前定点化深度学习算法；所述卷积层参数至少包括输入矩阵数据、输出矩阵数据、卷积层权值、偏差中的任一参数；

将L个样本数据对中的样本输入值逐个输入所述当前定点化深度学习算法，其中，一样本数据对包括样本输入值X_l、以及所述X_l的标准输出Y_l，记录所述当前定点化深度学习算法的输出Y’_l，l＝1,2…L；

步骤13：通过比较Y_l与Y’_l，判断所述Y’_l是否符合预设要求，如果是，则记录当前FP_n为所述定点化深度学习算法的定点位数最终值，结束本流程，否则执行步骤14；

步骤14：调整所述FP_n数值，返回步骤12；

在所述步骤11之后以及步骤12之前还包括：

步骤21：按照当前FP_n，将所述卷积层参数进行定点化处理，以构建当前定点化深度学习算法；

将L个样本数据对中的样本输入值逐个输入所述当前定点化深度学习算法，其中，一样本数据对包括样本输入值X_l、以及所述X_l的标准输出Y_l，记录所述当前定点化深度学习算法的输出Y’_l，l＝1,2…L；

步骤22：通过比较Y_l与Y’_l，判断所述Y’_l是否符合预设要求，如果是，则记录当前FP_n为所述定点化深度学习算法的定点位数最终值，结束本流程，否则执行步骤23；

步骤23：将L个样本数据对中的样本输入值逐个输入未定点化深度学习算法，记录数据集A_n＝{S_ni|l＝1,2…L,i≥1}，其中，S_ni为任一所述卷积层参数，n＝1,2…N；

步骤24：计算所述N个卷积层每一层的离散化指数D_n，所述D_n用于指示数据集A_n的离散程度，取前预设个数最大D_n所对应的卷积层为短板层；

步骤25：调整所述短板层的FP_n数值，执行步骤12；

所述步骤14中调整所述FP_n数值包括：调整所述短板层的FP_n数值。

2.根据权利要求1所述的方法，其特征在于，令所述定点化深度学习算法的最小预设进制位数为bw1；所述定点化深度学习算法的最大预设进制位数为bw2；

则所述步骤11还包括：所述初始值为bw1；

所述步骤14还包括：FP_n＝取整((FP_n+bw2)/2)。

3.根据权利要求1所述的方法，其特征在于，在所述步骤11之前还包括：

步骤31：将L个样本数据对中的样本输入值逐个输入未定点化深度学习算法，记录数据集A_n＝{S_ni|l＝1,2…L,i≥1}，其中，S_ni为任一所述卷积层参数，n＝1,2…N；

步骤32：计算所述N个卷积层每一层的离散化指数D_n，所述D_n用于指示数据集A_n的离散程度；

所述步骤11中设置FP_n为初始值包括：根据所述D_n设置FP_n的初始值。