[发明专利]一种神经网络模型知识蒸馏方法、系统、设备及介质

权利要求书

1.一种神经网络模型知识蒸馏方法，其特征在于，包括：

获取待知识蒸馏的第一神经网络模型；

获取第二神经网络模型；

生成用于对所述第二神经网络模型进行训练的目标样本集；

将所述目标样本集作为所述第二神经网络模型的输入，将所述第一神经网络模型的输出作为所述第二神经网络模的输出，对所述第二神经网络模型进行知识蒸馏，得到目标神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述生成用于对所述第二神经网络模型进行训练的目标样本集，包括：

选取所述第二神经网络模型的数据集中定义的一个数据类别；

生成与所述数据类别对应的随机噪声图像；

选取图像生成算法，基于所述图像生成算法对所述随机噪声图像进行图像生成，得到目标图像；

将所述目标图像作为所述目标样本集的样本。

3.根据权利要求2所述的方法，其特征在于，所述将所述目标图像作为所述目标样本集的样本之后，所述将所述目标样本集作为所述第二神经网络模型的输入之前，还包括：

统计所述目标样本集中的样本数；

判断所述样本数是否小于预设数值；

若所述样本数小于所述预设数值，则返回执行所述选取所述第二神经网络模型的数据集中定义的一个数据类别的步骤；

若所述样本数大于等于所述预设数值，则执行所述将所述目标样本集作为所述第二神经网络模型的输入的步骤。

4.根据权利要求2所述的方法，其特征在于，所述选取图像生成算法，基于所述图像生成算法对所述随机噪声图像进行图像生成，得到目标图像，包括：

选取图像生成算法；

对所述图像生成算法的超参数进行设定；

基于设定后的所述图像生成算法对所述随机噪声图像进行图像生成，得到所述目标图像。

5.根据权利要求4所述的方法，其特征在于，所述图像生成算法的类型包括DeepDream算法；

所述对所述图像生成算法的超参数进行设定，包括：

对所述图像生成算法的学习率、批量大小、迭代次数进行设定。

6.根据权利要求2至5任一项所述的方法，其特征在于，所述将所述目标图像作为所述目标样本集的样本之后，所述将所述目标样本集作为所述第二神经网络模型的输入之前，还包括：

判断所述目标样本集的泛化能力是否达到预设标准；

若所述目标样本集的泛化能力达到所述预设标准，则执行所述将所述目标样本集作为所述第二神经网络模型的输入的步骤；

若所述目标样本集的泛化能力未达到所述预设标准，则返回执行所述选取所述第二神经网络模型的数据集中定义的一个数据类别的步骤。

7.根据权利要求6所述的方法，其特征在于，所述判断所述目标样本集的泛化能力是否达到预设标准，包括：

获取已训练好的第三神经网络模型；

基于所述第三神经网络模型对所述目标样本集进行识别，得到识别结果；

基于所述识别结果确定识别准确率；

判断所述识别准确率是否小于预设识别准确值；

若所述识别准确率小于所述预设识别准确值，则判定所述目标样本集的泛化能力未达到所述预设标准；

若所述识别准确率大于等于所述预设识别准确值，则判定所述目标样本集的泛化能力达到所述预设标准。

8.一种神经网络模型知识蒸馏系统，其特征在于，包括：

第一获取模块，用于获取待知识蒸馏的第一神经网络模型；

第二获取模块，用于获取第二神经网络模型；

第一生成模块，用于生成用于对所述第二神经网络模型进行训练的目标样本集；

第一知识蒸馏模块，用于将所述目标样本集作为所述第二神经网络模型的输入，将所述第一神经网络模型的输出作为所述第二神经网络模的输出，对所述第二神经网络模型进行知识蒸馏，得到目标神经网络模型。