[发明专利]一种神经网络模型压缩方法、系统、装置及可读存储介质

权利要求书

1.一种神经网络模型压缩方法，其特征在于，包括：

利用神经网络裁剪方法对待裁剪神经网络模型进行裁剪得到待量化神经网络模型；

利用INQ算法对所述待量化神经网络模型进行量化得到待存储神经网络模型；

采用预设压缩格式存储所述待存储神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述神经网络裁剪方法包括动态网络裁剪算法。

3.根据权利要求2所述的方法，其特征在于，所述利用神经网络裁剪方法对待裁剪神经网络模型进行裁剪得到待量化神经网络模型，包括：

S201，确定第一训练数据集、待裁剪网络模型与初始迭代次数，其中所述待裁剪网络模型中每层权重参数对应的第一二值掩码矩阵中的值均初始化为1；

S202，利用公式更新每层权重参数；其中表示待剪裁神经网络第k层中角标为(i,j)的权重系数；表示神经网络第k层中角标为(i,j)的权重的第一二值掩码；β为正的学习率；L(·)表示损失函数；⊙表示Hadamard乘积算子；I表示权重系数矩阵W_k的角标范围；

S203，利用公式更新每层权重参数对应的第一二值掩码矩阵；其中，a_k与b_k分别为预设边界；函数h_k(·)表示，当权重值的绝对值小于a_k时，则二值掩码更新为0；当的绝对值大于b_k时，则二值掩码更新为1；当的绝对值介于a_k与b_k之间时，则的值不做更新；

S204，按照预设方式更新迭代次数与学习率；

S205，判断当前迭代次数是否大于预设值，若否，则返回S202；若是，则利用本次更新后得到的每层权重参数与本次更新后得到的与每层权重参数对应的第一二值掩码矩阵确定待量化神经网络模型。

4.根据权利要求1所述的方法，其特征在于，所述利用INQ算法对所述待量化神经网络模型进行量化得到待存储神经网络模型，包括：

S301，确定第二训练集与参考模型，利用所述待量化神经网络模型的权重参数初始化所述参考模型的权重参数；将与所述参考模型中的每层权重参数对应的第二二值掩码矩阵初始化为1；

S302，根据预设权重量化比例在第二二值掩码矩阵为1的权重参数中确定待量化权值组与待训练权值组；

S303，量化所述待量化权值组，将量化后的权值组中权重参数对应的二值掩码矩阵更新为0，并更新量化率；其中，所述量化率为二值掩码矩阵为0的权重参数在所有权重参数中的比例；

S304，重新训练待训练权值组的权重参数；

S305，判断迭代次数是否达到预设阈值且所述量化率达到100％；若是，则确定所有量化后的权重参数以确定待存储神经网络模型；若否，则返回S302。

5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述采用压缩格式存储所述待存储神经网络模型，包括：根据预设比特位存储所述待存储神经网络模型的权重参数。

6.一种神经网络模型压缩系统，其特征在于，包括：

裁剪模块，用于利用神经网络裁剪方法对待裁剪神经网络模型进行裁剪得到待量化神经网络模型；

量化模块，用于利用INQ算法对所述待量化神经网络模型进行量化得到待存储神经网络模型；

存储模块，用于采用压缩格式存储所述待存储神经网络模型。

7.根据权利要求6所述的方法，其特征在于，所述神经网络裁剪方法包括动态网络裁剪算法。

8.根据权利要求6或7所述的系统，其特征在于，所述存储模块，具体用于根据预设比特位存储所述待存储神经网络模型的权重参数。

9.一种神经网络模型压缩装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述神经网络模型压缩方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述神经网络模型压缩方法的步骤。