[发明专利]一种神经网络模型压缩方法、装置和计算机设备

权利要求书

1.一种神经网络模型压缩方法，其特征在于，用于针对视觉识别或语音识别的样本数据，训练得到适用于识别图像或语音的神经网络模型；所述方法应用于低性能设备，所述方法包括：

针对待压缩神经网络模型的每一个原始卷积层，将所述原始卷积层分解为级联的多个目标卷积层；

将样本数据分别输入到待压缩神经网络，得到所述原始卷积层对输入所述样本数据进行卷积处理后的第一卷积处理结果，以及将所述样本数据输入到分解后的神经网络，得到所述级联的多个目标卷积层依序对所述输入所述样本数据进行卷积处理后的第二卷积处理结果；所述样本数据为图像样本或语音样本；

根据所述第一卷积处理结果和所述第二卷积处理结果，对所述级联的多个目标卷积层的权值矩阵进行修正处理，得到压缩后的神经网络模型，以用于识别图像或语音。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一卷积处理结果和所述第二卷积处理结果，对所述级联的多个目标卷积层的权值矩阵进行修正处理，包括：

根据所述第一卷积处理结果和所述第二卷积处理结果，确定用于对所述级联的多个目标卷积层的权值矩阵进行修正处理的修正矩阵；

利用所述修正矩阵对所述级联的多个目标卷积层的权值矩阵进行修正处理，得到压缩后的神经网络模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一卷积处理结果和所述第二卷积处理结果，确定用于对所述级联的多个目标卷积层的权值矩阵进行修正处理的修正矩阵，包括：

根据所述第一卷积处理结果和所述第二卷积处理结果，按照第一公式确定用于对所述级联的多个目标卷积层的权值矩阵进行修正处理的修正矩阵；

所述第一公式为：

其中，所述Y为所述第一卷积处理结果；

所述Y*为所述第二卷积处理结果；

所述A为所述修正矩阵。

4.根据权利要求2所述的方法，其特征在于，所述将所述原始卷积层分解为级联的多个目标卷积层，包括：

在列方向将所述原始卷积层的权值矩阵W划分为指定数量个行数相等的权值子矩阵Wi；

针对每个Wi，利用奇异值SVD分解法将所述Wi分解为矩阵Di和矩阵Pi的乘积；其中，所述Di的行数等于所述Wi的行数，所述Pi的列数等于所述Wi的列数，所述Di的列数和所述Pi的行数等于指定值，所述指定值等于样本数据的通道数除以所述指定数量；

分别将所述Di和所述Pi按照所述Wi在所述W中的位置进行排列，得到第一矩阵D和第二矩阵P；

将所述原始卷积层分解为权值矩阵分别为所述D和所述P的级联的两个目标卷积层。

5.根据权利要求4所述的方法，其特征在于，所述针对每个Wi，利用奇异值SVD分解法将所述Wi分解为矩阵Di和矩阵Pi的乘积，包括：

计算所述Wi的奇异值，并采用SVD分解法对所述Wi进行分解；其中，Wi＝Ui*∑i*Vi；

按照从大到小的顺序，从所述Wi的奇异值中选择所述指定值个目标奇异值；

利用所述目标奇异值分别对所述Ui、所述∑i和所述Vi进行裁剪，得到裁剪后的Ui、∑i和Vi；

将所述裁剪后的Ui和所述裁剪后的∑i相乘，并将相乘得到的矩阵和所述裁剪后的Vi的乘积确定为利用SVD分解法得到的矩阵Di和矩阵Pi的乘积；或者是将所述裁剪后的∑i和所述裁剪后Vi相乘，并将所述裁剪后的Ui和相乘得到的矩阵的乘积确定为利用SVD分解法得到的矩阵Di和矩阵Pi的乘积。

6.根据权利要求4所述的方法，其特征在于，所述利用所述修正矩阵对所述级联的多个目标卷积层的权值矩阵进行修正处理，得到压缩后的神经网络模型，包括：

将第二个目标卷积层的权值矩阵更新为所述P与所述修正矩阵的乘积。

7.根据权利要求1所述的方法，其特征在于，所述得到压缩后的神经网络模型之后，所述方法还包括：

采用样本数据训练所述压缩后的神经网络模型。