[发明专利]一种模型压缩方法、系统、终端及存储介质

权利要求书

1.一种模型压缩方法，其特征在于，包括：

通过样本生成器生成训练样本；

基于至少一组超参组合，将所述训练样本分别输入学生网络和教师网络，对所述学生网络和教师网络进行对抗知识蒸馏训练，生成粗压缩学生网络；

通过随机样本生成器生成样本，将所述生成样本输入所述教师网络，由所述教师网络生成合成样本集；

通过所述合成样本集对所述粗压缩学生网络进行有监督学习训练，得到所述学生网络的压缩结果。

2.根据权利要求1所述的模型压缩方法，其特征在于，所述基于至少一组超参组合，将所述训练样本分别输入学生网络和教师网络，对所述学生网络和教师网络进行对抗知识蒸馏训练包括：

基于超参组合，将随机数生成器生成的第一随机数输入样本生成器，由所述样本生成器生成第一训练样本；

将所述第一训练样本分别输入教师网络和学生网络，分别由所述教师网络和学生网络输出第一预测结果y和y_hat，根据所述第一预测结果y和y_hat计算出第一损失值；

根据所述第一损失值对所述学生网络进行反向传播，对所述学生网络进行参数更新；

将所述随机数生成器生成的第二随机数输入样本生成器，由所述样本生成器生成第二训练样本；

将所述第二训练样本分别输入至所述参数更新后的学生网络和教师网络，分别由所述教师网络和学生网络输出第二预测结果y和y_hat，根据所述第二预测结果y和y_hat计算出第二损失值；

根据所述第二损失值对所述样本生成器进行反向传播，对所述样本生成器进行参数更新；

迭代执行所述学生网络和样本生成器的更新，直到满足迭代结束条件时结束迭代，得到基于超参组合对所述学生网络进行的对抗知识蒸馏的训练结果，并保存所述学生网络的参数。

3.根据权利要求2所述的模型压缩方法，其特征在于，所述根据所述第一损失值对所述学生网络进行反向传播，对所述学生网络进行参数更新还包括：

根据预设迭代次数迭代执行所述第一损失值的计算以及所述学生网络的反向传播，对所述学生网络的参数进行预设迭代次数的更新。

4.根据权利要求3所述的模型压缩方法，其特征在于，所述根据所述第二损失值对所述样本生成器进行反向传播，对所述样本生成器的参数进行更新还包括：

根据预设迭代次数迭代执行所述第二损失值的计算以及所述样本生成器的反向传播，对所述样本生成器的参数进行预设迭代次数的更新。

5.根据权利要求1所述的模型压缩方法，其特征在于，所述由所述教师网络生成合成样本集包括：

通过Label生成器生成期望标签；

通过随机样本生成器生成样本；

将所述生成样本输入教师网络，由所述教师网络输出第一预测标签；

基于所述期望标签和第一预测标签计算出第三损失函数；

基于所述第三损失函数对所述生成样本进行梯度更新；

根据预设迭代次数迭代执行所述生成样本的梯度更新，直到所述生成样本满足预设条件。

6.根据权利要求5所述的模型压缩方法，其特征在于，所述将所述合成样本集输入所述粗压缩学生网络，对所述粗压缩学生网络进行有监督学习训练包括：

将所述合成样本输入粗压缩学生网络，由所述粗压缩学生网络输出第二预测标签；

基于所述第二预测标签计算出所述学生网络最终的损失函数。

7.根据权利要求1至6任一项所述的模型压缩方法，其特征在于，所述将所述合成样本集输入所述粗压缩学生网络，对所述粗压缩学生网络进行有监督学习训练后还包括：

根据模型评价指标对所述学生网络压缩结果进行评价；所述模型评价指标包括准确率。