[发明专利]一种模型压缩方法、系统、终端及存储介质

说明书

本发明公开了一种模型压缩方法、系统、终端及存储介质。所述方法包括：通过样本生成器生成训练样本；基于至少一组超参组合，将所述训练样本分别输入学生网络和教师网络，对所述学生网络和教师网络进行对抗知识蒸馏训练，生成粗压缩学生网络；通过随机样本生成器生成样本，将所述生成样本输入所述教师网络，由所述教师网络生成合成样本集；通过所述合成样本集对所述粗压缩学生网络进行有监督学习训练，得到所述学生网络的压缩结果。本发明实施例可完全不依赖于原始训练数据集实现对模型的压缩，解决了因为原始训练数据集敏感性和数据海量问题导致模型压缩工作无法展开的问题，有效降低了模型压缩的精度损失。本发明还涉及区块链技术领域。

技术领域

本发明涉及人工智能技术领域，特别是涉及一种模型压缩方法、系统、终端及存储介质。

背景技术

在人工智能领域，模型生命周期通常可分为模型训练和模型推理两个环节。在模型训练环节，为追求模型具有更高的预测精准度，模型往往不可避免的存在冗余。而在模型推理环节，由于受到推理应用环境的苛刻要求，除了关注模型预测的精准度外，还希望模型具有推理速度快、资源占用省、文件尺寸小等高性能特点。模型压缩恰恰是将模型从模型训练环节向模型推理环节转变的常用优化手段。

目前，业界主流的模型压缩技术包括剪枝、量化和知识蒸馏等，这些主流技术都需要通过原始训练数据集参与才能完成对模型的优化过程模型；其中，剪枝技术需要通过原始训练数据集完成剪枝决策和剪枝后重建(Fine-Tune)；模型量化需要通过原始训练数据集来完成Quantization-aware training(训练中引入量化)过程或者通过原始训练数据集Post-training quantization(训练后的量化)的Calibration(校准)过程；知识蒸馏需要通过原始训练数据集分别送入Teacher网络和Student网络完成Knowledge-Transfer((知识转移))的过程。

从行业的发展状况来看，模型训练和模型压缩往往由不同的职能团队承担，且分工比较明确。而由于训练数据涉及私密性或者数据海量(难于传输和存储)等原因，获得原始训练数据集的难度较大，影响模型压缩工作的进展。

近期，虽然逐渐也有不依赖于原始训练数据集的模型压缩技术出现，例如对抗知识蒸馏；但由于该技术成熟度不高，还存在如下不足：

1.对抗知识蒸馏过程波动性和随机性大，难于稳定复现；

2.对抗知识蒸馏的精度损失较大，难于满足实际应用要求。

发明内容

本发明提供了一种模型压缩方法、系统、终端及存储介质，能够在一定程度上解决现有技术中存在的不足。

为解决上述技术问题，本发明采用的技术方案为：

一种模型压缩方法，包括：

通过样本生成器生成训练样本；

基于至少一组超参组合，将所述训练样本分别输入学生网络和教师网络，对所述学生网络和教师网络进行对抗知识蒸馏训练，生成粗压缩学生网络；

通过随机样本生成器生成样本，将所述生成样本输入所述教师网络，由所述教师网络生成合成样本集；

通过所述合成样本集对所述粗压缩学生网络进行有监督学习训练，得到所述学生网络的压缩结果。

本发明实施例采取的技术方案还包括：所述基于至少一组超参组合，将所述训练样本分别输入学生网络和教师网络，对所述学生网络和教师网络进行对抗知识蒸馏训练包括：

基于超参组合，将随机数生成器生成的第一随机数输入样本生成器，由所述样本生成器生成第一训练样本；

将所述第一训练样本分别输入教师网络和学生网络，分别由所述教师网络和学生网络输出第一预测结果y和y_hat，根据所述第一预测结果y和y_hat计算出第一损失值；