[发明专利]一种利用分块循环矩阵的神经网络压缩方法

说明书

本发明公开了一种利用分块循环矩阵的神经网络压缩方法，涉及神经网络压缩方法领域，通过读取神经网络中最长基础随机符号向量，在神经网络的每层生成与该层输入维度相等的符号向量并与输入向量元素相乘得到新的输入向量，并训练构成新的块循环网络，存储最长基础随机符号向量和神经网络模型参数；采用细粒度的神经网络压缩方法对模型进行剪枝，进一步降低模型复杂度。通过引入随机符号向量，减少投影向量之间的相关性，从而保证模型的收敛，达到有效减少存储和带宽的目的。同时，避免了处理分块循环矩阵压缩神经网络时，由于分块大小增大而引起的性能下降的问题。

技术领域

本发明涉及神经网络压缩方法领域，具体涉及一种利用分块循环矩阵的神经网络压缩方法。

背景技术

近年来，深度神经网络取得了巨大的进展，很多算法都可以在图形处理器 (Graphprocessing unit,GPU)上进行实时计算，并在计算机视觉、自然语言处理等领域取得了巨大的成功。如何在不明显影响循环神经网络性能的前提下，对循环神经网络进行压缩，降低其参数量和复杂度，成了学术界和工业界的研究热点。

中国发明专利(公开号：CN109389221A)公开了一种基于模型计算的神经网络压缩方法，该方案基于剪枝方法和权重量化方法，对神经网络模型剪枝，能够减少模型的连接数，即减少模型的参数数量。对神经网络模型进行量化，能够降低模型内部权重占用的存储空间，提升模型计算速度。

中国发明专利(公开号：CN109190759A)公开了一种基于{-1，+1}分解的神经网络压缩与加速方法，该方法有对神经网络参数与激活值进行重新{-1,1}编码，降低模型参数的储存空间，实现模型计算加速的优点。

中国发明专利(公开号：CN108665067A)公开一种用于深度神经网络频繁传输的压缩方法及系统，该方案结合了深度神经网络在频繁传输上的多个模型之间的冗余性，利用了深度神经网络之间的知识信息进行压缩，减少了所需传输的大小和带宽。在相同带宽限制下，能更好地将深度神经网络进行传输，同时允许深度神经网络在前端进行针对性压缩的可能，而非只能将深度神经网络进行针对性压缩后进行部分的还原。

然而，上述三个公开的发明专利的方案均无法充分与硬件相匹配，同时对于分块循环矩阵，权重张量由块循环矩阵构成；投影相关性导致了严重的性能下降。

发明内容

为解决现有技术问题，本发明只需要较少的存储资源即可实现32倍的权重压缩；通过增加极少的存储符号向量和计算资源，保证准确度不下降，收敛速度提升。同时，结合细粒度的压缩方式，通过减少在特征图上抽取特征的卷积核，得到紧凑的网络，进一步提升网络的压缩性能。

本发明具体采用以下技术方案：

一种利用分块循环矩阵的神经网络压缩方法，包括以下步骤：

步骤1：通过读取神经网络中最长基础随机符号向量，在神经网络的每层截取该层所需长度的基础符号向量，扩展该层的基础符号向量至输入向量维度，根据符号向量的位置对输入向量做符号翻转，使符号向量与输入向量元素相乘得到新的输入向量；

步骤2：训练构成的新的块循环网络，存储最长基础随机符号向量和神经网络模型参数；

步骤3：根据输入特征图的稀疏度和信息丰富度，决定输入特征图的重要性。根据特征图的重要性去减少特征图上进行卷积的卷积核个数，对网络结构进行精简；

步骤4：采用细粒度算法对神经网络模型进行剪枝。

进一步的方案是，步骤1中所述的最长基础随机符号向量根据所有层输入特征向量的维度和分块大小确定。

进一步的方案是，步骤1中所述的符号向量生成步骤如下：