[发明专利]计算神经网络压缩最佳定点位数的方法、存储介质和装置

说明书

本发明提供一种计算神经网络压缩最佳定点位数的方法、存储介质和装置，包括：步骤11：设置FP_n为初始值；步骤12：按照当前FP_n，将卷积层参数进行定点化处理，以构建当前定点化深度学习算法；将L个样本数据对中的样本输入值逐个输入当前定点化深度学习算法，其中，一样本数据对包括样本输入值X_l、以及X_l的标准输出Y_l，记录当前定点化深度学习算法的输出Y’_l，l＝1,2…L；步骤13：通过比较Y_l与Y’_l，判断Y’_l是否符合预设要求，如果是，则记录当前FP_n为定点化深度学习算法的定点位数最终值，结束本流程，否则执行步骤14；步骤14：调整FP_n数值，返回步骤12。本发明方法，可以快速确定定点化深度学习算法中的定点位数，可提高深度学习算法的运算速度，节省运算时间。

技术领域

本发明涉及计算机领域，特别涉及一种计算神经网络压缩最佳定点位数的方法、存储介质和装置。

背景技术

深度学习算法是指多层神经网络上运用各种机器学习算法解决图像，文本等各种问题的算法集合。深度学习算法的核心是特征学习，旨在通过分层网络获取分层次的特征信息，从而解决以往需要人工设计特征的重要难题。

深度学习算法在很多应用中都取得了极大的成功。在计算机视觉领域，特别是针对图像分类问题，卷积神经网络的引入使得图像分类的精度大幅提高。

虽然深度学习算法具有先进的性能，但与传统方法相比需要更多的计算和内存资源，因此大多数深度学习算法需要依赖于大型服务器。然而，许多嵌入式系统也希望具有由深度学习算法实现的高精度实时目标识别功能或其他多种功能。不过将功能强大的深度学习算法用于小型系统必须克服资源有限的问题。

深度学习算法多采用32位或64位浮点数数字表示系统数据，然而在某些情况下，使用低bit的定点数代替浮点数对算法的运算结果影响不大。因此针对现有深度学习算法参数和数据具备大量冗余的事实，可以通过深度学习算法定点化(把浮点数转换位定点数)来大幅降低资源使用量。

因此，在不影响算法精度的条件下，如何快速确定深度学习算法的定点化策略至关重要。

发明内容

有鉴于此，本发明提供一种计算神经网络压缩最佳定点位数的方法、存储介质和装置，应用于深度学习算法，可解决深度学习算法运算定点化策略的确定问题。

本发明提供一种计算神经网络压缩最佳定点位数的方法，应用于定点化深度学习算法中，定点化深度学习算法包括N个卷积层，该方法用于为卷积层n的卷积层参数确定定点化处理的预设进制位数FP_n，n＝1,2…N，包括：

步骤11：设置FP_n为初始值；

步骤12：按照当前FP_n，将卷积层参数进行定点化处理，以构建当前定点化深度学习算法；卷积层参数至少包括输入矩阵数据、输出矩阵数据、卷积层权值、偏差中的任一参数；

将L个样本数据对中的样本输入值逐个输入当前定点化深度学习算法，其中，一样本数据对包括样本输入值X_l、以及X_l的标准输出Y_l，记录当前定点化深度学习算法的输出Y’_l，l＝1,2…L；

步骤13：通过比较Y_l与Y’_l，判断Y’_l是否符合预设要求，如果是，则记录当前FP_n为定点化深度学习算法的定点位数最终值，结束本流程，否则执行步骤14；

步骤14：调整FP_n数值，返回步骤12。