[发明专利]合理使用掩码的深度神经网络压缩方法

权利要求书

1.一种在语音识别中使用掩码矩阵对神经网络进行重训以降低识别结果中的词错误率的方法，所述神经网络的神经元之间的连接关系由多个矩阵表示，所述方法包括：

获得掩码矩阵步骤，获得对应于所述神经网络的掩码矩阵M，所述掩码矩阵M记录所述神经网络的矩阵的非零元素的分布信息；

第一次剪枝操作步骤，利用所述掩码矩阵M对待压缩的神经网络nnet⁰进行剪枝；

不带掩码重训步骤，对剪枝后的网络不带掩码矩阵M进行重训，得到稠密网络使得识别结果中的词错误率下降；

第二次剪枝操作步骤，利用所述掩码矩阵M对稠密网络进行第二次剪枝，得到稀疏网络

带掩码重训步骤，对稀疏网络带掩码矩阵M进行重训，得到最终输出网络使得语音识别结果中的词错误率再次下降。

2.根据权利要求1所述的方法，所述获得掩码矩阵步骤进一步包括：

对待压缩的网络进行剪枝，得到含有零元素和非零元素的稀疏矩阵，然后使用掩码矩阵M，所述掩码矩阵M用1代表稀疏矩阵中非零元素的权值，以记录压缩后矩阵非零元素的分布信息。

3.根据权利要求1所述的方法，所述第一次剪枝操作步骤进一步包括：

将待压缩的神经网络与所述掩码矩阵M点乘，得到剪枝后的网络

4.根据权利要求1所述的方法，所述不带掩码重训步骤进一步包括：

训练步骤，使用训练集训练所述神经网络，并且不带掩码进行权值矩阵更新；

判断步骤，判断该矩阵是否收敛到局部最优解；

如果未收敛到局部最优解，则返回所述训练步骤；

如果收敛到最优解，则把所述神经网络作为最终神经网络。

5.根据权利要求4所述的方法，所述不带掩码进行权值矩阵更新进一步包括：

基于训练集数据，计算神经网络的损失函数对网络参数的导数，进而求得梯度矩阵；

基于所述梯度矩阵，采用随机梯度下降法，不带掩码更新网络中的权值矩阵，其中更新后的权值矩阵＝更新前的权值矩阵-学习率*梯度矩阵；

计算神经网络网络的平均损失loss，如果loss比上一轮有效训练的loss大，则本轮训练无效；

如果loss比上一轮有效训练的loss小，则本轮训练有效；

如果本轮训练无效，且没有达到最大训练轮数，则调整学习率，在上一轮有效训练的基础上继续训练；

如果本轮训练有效，则判断网络是否收敛。

6.根据权利要求1所述的方法，所述第二次剪枝操作步骤进一步包括：

所述掩码矩阵M与稠密网络进行点乘操作，去除已剪枝处重新生长出的权值，得到稀疏网络

7.根据权利要求1所述的方法，所述带掩码重训步骤进一步包括：

训练步骤，使用训练集训练所述神经网络，并且带掩码进行权值矩阵更新；

判断步骤，判断该矩阵是否收敛到局部最优解；

如果未收敛到局部最优解，则返回所述训练步骤；

如果收敛到最优解，则把所述神经网络作为最终神经网络。

8.根据权利要求7所述的方法，所述带掩码进行权值矩阵更新进一步包括：

基于训练集数据，计算神经网络的损失函数对网络参数的导数，进而求得梯度矩阵；

基于所述梯度矩阵，采用随机梯度下降法，带掩码更新网络中的权值矩阵，其中更新后的权值矩阵＝更新前的权值矩阵-学习率*梯度矩阵*掩码矩阵M；

计算神经网络网络的平均损失loss，如果loss比上一轮有效训练的loss大，则本轮训练无效；

如果loss比上一轮有效训练的loss小，则本轮训练有效；

如果本轮训练无效，且没有达到最大训练轮数，则调整学习率，在上一轮有效训练的基础上继续训练；

如果本轮训练有效，则判断网络是否收敛。

9.根据权利要求1所述的方法，所述掩码矩阵M仅包括0和1元素，值为1的元素表示相应权值矩阵对应位置的元素被保留，而值为0的元素表示相应权值矩阵对应位置的元素被置零。

10.一种在语音识别中使用掩码矩阵对神经网络进行重训以降低识别结果中的词错误率的装置，所述神经网络的神经元之间的连接关系由多个矩阵表示，所述装置包括：

获得掩码矩阵单元，用于获得对应于所述神经网络的掩码矩阵M，所述掩码矩阵M记录所述神经网络的矩阵的非零元素的分布信息；

第一次剪枝操作单元，用于利用所述掩码矩阵M对待压缩的神经网络nnet⁰进行剪枝；

不带掩码重训单元，用于对剪枝后的网络不带掩码矩阵M进行重训，得到稠密网络使得识别结果中的词错误率下降；

第二次剪枝操作单元，用于利用所述掩码矩阵M对稠密网络进行第二次剪枝，得到稀疏网络

带掩码重训单元，用于对稀疏网络带掩码矩阵M进行重训，得到最终输出网络使得语音识别结果中的词错误率再次下降。