[发明专利]合理使用掩码的深度神经网络压缩方法

说明书

本申请公开了一种使用掩码矩阵对神经网络进行重训的方法，所述神经网络的神经元之间的连接关系由多个矩阵表示，所述方法包括：获得掩码矩阵步骤，获得对应于所述神经网络的掩码矩阵M，所述掩码矩阵M记录所述神经网络的矩阵的非零元素的分布信息；第一次剪枝操作步骤，利用所述掩码矩阵M对待压缩的神经网络nnet⁰进行剪枝；不带掩码重训步骤，对剪枝后的网络不带掩码矩阵M进行重训，得到稠密网络第二次剪枝操作步骤，利用所述掩码矩阵M对稠密网络进行第二次剪枝，得到稀疏网络和带掩码重训步骤，对稀疏网络带掩码矩阵M进行重训，得到最终输出网络

本申请要求于2016年8月22日提交的美国专利申请No.15/242,622、和于2016年8月22日提交的美国专利申请No.15/242,624的优先权。

发明领域

本发明涉及合理使用掩码的深度神经网络压缩方法及装置。

背景技术

人工神经网络的压缩

人工神经网络(Artificial Neural Networks,ANNs)，也简称神经网络(NNs)，是一种模仿动物神经网络的行为特征，进行分布式并行信息处理的数学计算模型。近年来，神经网络发展很快，被广泛应用于诸多领域，如图像识别、语音识别、自然语言处理、天气预报、基因表达、内容推送等等。

神经网络中，有大量彼此连接的节点(也称“神经元”)。神经网络具备两个特性：1)每个神经元，通过某种特定的输出函数(也叫激活函数Activation Function)，计算处理来自其它相邻神经元的加权输入值；2)神经元之间的信息传递强度用所谓的权值来定义，算法会不断自我学习，调整这个权值。

早期的神经网络只有输入和输出层两层，无法处理复杂的逻辑，因此限制了其实用性。

如图1所示，深度神经网络(Deep Neural Networks,DNNs)通过在输入层和输出层之间添加隐藏的中间层，革命性地改变了这一点。

循环神经网络(Recurrent Neural Networks,RNNs)是一种常用的深度神经网络模型。不同于传统前向神经网络(Feed-forward Neural Networks)，循环神经网络引入了定向循环，能够处理输入之间前后关联的问题。在语音识别中，信号的前后关联很强，例如识别句子中的单词和该单词前面的单词序列关系十分紧密。因此，循环神经网络在语音识别领域有着非常广泛的应用。

然而，通过近几年的迅速发展，神经网络的规模不断增长，已公开的比较先进的神经网络可达数百层、数亿个连接，属于计算和访存密集型应用。在神经网络逐渐变大的情况下，模型压缩就变得极为重要。

深度神经网络中，神经元的连接关系在数学上可以表示为一系列矩阵。经过训练后的网络虽然预测准确，但其矩阵都是稠密的，即“矩阵中充满了非零元素”，从而导致大量的存储和计算资源被消耗。这不但降低了速度，而且增加了成本。这样一来，在移动端推广应用就面临着巨大的困难，极大的制约了神经网络的发展。

图2示出了一种利用剪切、重训的压缩神经网络的示意图。

近年来，广泛的研究表明，在通过训练得到的神经网络模型矩阵中，仅有部分权值较大的元素代表着重要连接，而其他权值较小的元素可以被移除(置为零)，

图3示出了对应的神经元被剪枝(pruning)。剪枝后的神经网络精度会下降，但是可以通过重训(fine tune)，对仍然保留在模型矩阵中的权值大小进行调整，从而减小精度损失。

模型压缩可以将神经网络中的稠密矩阵稀疏化，能够有效的降低存储量、减少计算量，在保持精度的同时实现加速。模型压缩对于专用的稀疏神经网络加速器而言，显得极为重要。

语音识别Speech Recognition