[发明专利]一种深度神经网络压缩方法和装置

说明书

提出了一种深度神经网络压缩方法和装置。神经网络的神经元之间的连接关系通常由多个矩阵来表示。根据本发明的神经网络压缩方法（900）包括：将所述多个矩阵的所有行进行跨矩阵重排（S910），其中，重排后的矩阵行按序分块为多个子矩阵；对多个子矩阵进行敏感度分析，以确定神经网络的初始压缩率（S920）；按照所确定的初始压缩率对所述多个子矩阵进行压缩，以获得压缩后的神经网络（S930）。本发明可以保证并行计算处理单元负载均衡，从而达到释放储存资源、加快计算速度、降低功耗的效果。

技术领域

本发明涉及人工神经网络，更具体涉及一种深度神经网络压缩方法和装置。

背景技术

人工神经网络（Artificial Neural Networks, ANN），也简称神经网络（NNs），是一种模仿动物神经网络的行为特征，进行分布式并行信息处理的数学计算模型。近年来，神经网络发展很快，被广泛应用于诸多领域，如图像识别、语音识别、自然语言处理、天气预报、基因表达、内容推送等等。

神经网络中，有大量彼此连接的节点 （也称 “神经元”），并且具备两个特性：1)每个神经元，通过某种特定的输出函数 （也叫激活函数，activation function），计算处理来自其它相邻神经元的加权输入值；2) 神经元之间的信息传递强度，用所谓权值来定义，算法会不断自我学习，调整这个加权值。

早期的神经网络只有输入和输出层两层，无法处理复杂的逻辑，限制了其实用性。而深度神经网络（Deep Neural Network, DNN）通过在输入和输出层之间添加隐藏的中间层，革命性地改变了这一点。图1示出了一种深度神经网络的模型。

语音识别（Speech Recognition），是将语音的模拟信号顺序映射到一个具体的单词集合上。近年来，人工神经网络的方法在语音识别领域取得的效果已经远远超出了所有传统方法，正在成为全行业的主流。其中，深度神经网络有着极为广泛的应用。

循环神经网络（Recurrent Neural Networks, RNN）是一种常用的深度神经网络模型，不同于传统前向神经网络（Feed-forward Neural Network）的是，循环神经网络引入了定向循环，能够处理那些输入之间前后关联的问题。在语音识别中，信号的前后关联很强，例如识别句子中的单词，和该单词前面的单词序列关系十分紧密。因此，循环神经网络在语音识别领域有着非常广泛的应用。

为了解决对长期信息的记忆问题，Hochreiter和Schmidhuber于1997年提出了长短时记忆（Long Short-Term Memory, LSTM）模型。LSTM神经网络是RNN的一种，将普通RNN当中简单的重复神经网络模块改变为复杂的连接交互关系。LSTM神经网络在语音识别中也取得了非常好的应用效果。

图2示出了一种应用于语音识别领域的LSTM网络模型。

然而，通过近几年的迅速发展，神经网络的规模不断增长，已公开的比较先进的神经网络可达数百层、数亿个连接，属于计算和访存密集型应用。在神经网络逐渐变大的情况下，模型压缩就变得极为重要。

深度神经网络中，神经元的连接关系在数学上可以表示为一系列矩阵。经过训练后的网络虽然预测准确，效果奇佳，但其矩阵都是稠密的，即“矩阵中充满了非零元素”，从而导致大量的存储和计算资源被消耗，不但降低速度，而且增加成本，这样一来，在移动端的推广就面临着巨大的困难，极大的制约了神经网络的应用空间。

近年来，广泛的研究表明，通过训练得到的神经网络模型矩阵中，仅有部分权值较大的元素代表着重要连接，而其他权值较小的元素可以被移除（置为零），与此同时对应的神经元也被剪枝（pruning）。剪枝后的网络精度会下降，但是可以通过重训（finetune），对仍然保留在模型矩阵中权值的大小进行调整，从而减小精度损失。剪枝可以将神经网络中的稠密矩阵稀疏化，能够有效的降低存储量、减少计算量，在保持网络预测精度的同时实现加速。