[发明专利]一种近似矩阵的卷积神经网络二值化贪心递归方法

说明书

本发明公开了一种近似矩阵的卷积神经网络二值化贪心递归方法，包括：预先设置关键参数和线性组合的二值化矩阵的数量；采用贪心递归算法根据所述关键参数进行一次递归计算，得到并存储二值化矩阵和与该二值化矩阵相对应的缩放因子，计算下一次递归计算所使用的误差值；判断递归计算次数是否大于所述线性组合的二值化矩阵的数量；若是，采用贪心递归算法根据所述误差值和所述关键参数进行一次递归计算，得到并存储二值化矩阵和与该二值化矩阵相对应的缩放因子，计算下一次递归计算所使用的误差值；若否，输出所存储的包括所有所述二值化矩阵的二值化矩阵集合和包括所有所述缩放因子的缩放因子集合。本发明对神经网络二值化算法进行了简化计算。

技术领域

本发明涉及人工智能技术领域，特别涉及一种近似矩阵的卷积神经网络二值化贪心递归方法。

背景技术

近年来深度学习获得了越来越多的关注，其深层次的非线性结构在图像，语音，自然语音处理领域取得了重大的突破，但也需要巨大的时间和内存去训练和存储网络模型。因此模型压缩，加速训练成为深度学习中的一大挑战。为了解决这个问题，神经网络二值化算法被认为是一个有用的模型压缩解决方案。

神经网络二值化算法是一种训练时量化算法。在训练的过程中，约束网络的参数权值空间为二个数值。神经网络二值化不仅能够降低模型内存消耗，而且也能加速模型的推理速度。对比于单精度权值，二值权值只需要1个比特位的空间来存储一个参数，直接将参数压缩32倍。如果把其中某些层的激活值也约束为二值，那么网络中乘法运算可以使用同或运算替代，例如在卷积操作中同或卷积运算对比单精度浮点数卷积运算能够提高58倍速度，它极大的提高了推断时速度。

然而二值化网络准确率的丢失对比于训练后量化算法是非常严重的。尤其是激活值二值化后，所得的特征向量包含的信息将会呈指数级丢失。建立一个精确度高而计算量小的神经网络二值化算法迫在眉睫。

发明内容

本发明的目的在于提供一种近似矩阵的卷积神经网络二值化贪心递归方法，实现对神经网络二值化算法的简化计算，以及在降低运算的同时缓解二值化，卷积对特征图信息的丢失的目的。

为了实现以上目的，本发明通过以下技术方案实现：

一种近似矩阵的卷积神经网络二值化贪心递归方法，包括：

步骤S1、预先设置关键参数和线性组合的二值化矩阵的数量；

步骤S2、采用贪心递归算法根据所述关键参数进行一次递归计算，得到并存储二值化矩阵和与该二值化矩阵相对应的缩放因子，计算下一次递归计算所使用的误差值；

步骤S3、判断递归计算次数是否大于所述线性组合的二值化矩阵的数量；若是，进入步骤S4；若否，进入步骤S5；

步骤S4、采用贪心递归算法，根据所述步骤S2所得到的所述误差值和所述关键参数进行一次递归计算，得到并存储二值化矩阵和与该二值化矩阵相对应的缩放因子，计算下一次递归计算所使用的误差值；

步骤S5、输出所存储的包括所有所述二值化矩阵的二值化矩阵集合和包括所有所述缩放因子的缩放因子集合。

优选地，所述关键参数包括特征图或网络权值。

优选地，所述二值化矩阵采用如下公式进行计算：

与该二值化矩阵相对应的缩放因子采用如下公式进行计算：