[发明专利]模型压缩方法、装置、电子设备及介质

权利要求书

1.一种模型压缩方法，其特征在于，所述方法包括：

步骤A：利用预先构建的拟合器对随机噪声数据进行数据拟合操作，得到仿真数据；

步骤B：利用预设的第一损失函数计算所述仿真数据和所述噪声数据之间的激活损失值，在所述激活损失值大于预设的激活阈值时，调整所述拟合器的参数并返回上述的步骤A，直到所述激活损失值小于或等于预设的激活阈值时，将所述仿真数据输入至待压缩模型中，得到输出数据；

步骤C：利用预设的第二损失函数计算所述输出数据和所述仿真数据之间的稀疏损失值，在所述稀疏损失值大于预设的稀疏阈值时，调整所述拟合器的内部参数并返回上述的步骤A，直到所述稀疏损失值小于或者等于预设的稀疏阈值时，输出所述仿真数据；

步骤D：根据所述仿真数据对所述待压缩模型进行压缩处理，得到压缩后的模型。

2.如权利要求1所述的模型压缩方法，其特征在于，所述利用预先构建的拟合器对随机噪声数据进行数据拟合操作，得到仿真数据，包括：

利用所述拟合器中的长短期记忆网络对所述噪声数据进行预测，得到拟合数据集；

利用激活函数对所述拟合数据集进行压缩，得到压缩数据集；

对所述压缩数据集进行向量化处理，得到仿真数据。

3.如权利要求2所述的模型压缩方法，其特征在于，所述对所述压缩数据集进行向量化处理，得到仿真数据，包括：

利用Word2Vec算法将所述压缩数据集中的压缩数据映射为特征向量；

按照所述特征向量的序列对所述特征向量进行拼接，得到所述仿真数据。

4.如权利要求1所述的模型压缩方法，其特征在于，所述利用预设的第一损失函数计算所述仿真数据和所述噪声数据之间的激活损失值，包括：

利用下述第一损失函数计算所述仿真数据和所述噪声数据之间的激活损失值：

其中，为所述激活损失值，n为所述噪声数据的样本数，为所述仿真数据中的第m个数据，|| ||₁是L1范数。

5.如权利要求1所述的模型压缩方法，其特征在于，所述利用预设的第二损失函数计算所述输出数据和所述仿真数据之间的稀疏损失值，包括：

利用下述第二损失函数计算所述输出数据和所述仿真数据之间的稀疏损失值：

其中，为所述稀疏损失值，x为所述仿真数据的样本数，是所述输出数据中的第m个数据，为预设的参数，为softmax损失函数。

6.如权利要求1至5中任意一项所述的模型压缩方法，其特征在于，所述根据所述仿真数据对所述待压缩模型进行压缩处理，得到压缩后的模型，包括：

将所述仿真数据输入至预设的标准压缩模型中进行向量运算，得到所述标准压缩模型输出的第一特征，将所述仿真数据输入至所述待压缩模型中进行向量运算，得到所述待压缩模型输出的第二特征；

根据所述第一特征和所述第二特征确定所述待压缩模型的损失函数；

根据所述损失函数对所述待压缩模型进行反向传播，得到压缩后的模型。

7.如权利要求6所述的模型压缩方法，其特征在于，所述根据所述第一特征和所述第二特征确定所述待压缩模型的损失函数，包括：

根据所述第一特征和所述第二特征进行求差计算，得到差值函数；

将所述差值函数进行范数转换处理并求其平方，得到损失函数。