[发明专利]一种预训练模型知识蒸馏的安全性增强方法

权利要求书

1.一种预训练模型知识蒸馏的安全性增强方法，其特征在于，包括如下步骤：

S1：获取训练数据集，包括多个第一样本和各所述第一样本的分类标签；

S2：获得经过预训练和微调后的预训练模型，作为知识蒸馏中的老师模型；

S3：建立学生模型结构搜索空间，包括若干种类的神经网络计算层、各神经网络计算层的参数以及各神经网络计算层间的连接方式；

S4：在所述学生模型结构搜索空间中，使用所述训练数据集，以学生模型结构在使用所述老师模型知识蒸馏后得到的待评估的学生模型的模型安全性、模型推理预测效果以及模型的存储和计算效率综合作为评价标准，采用神经网络结构搜索方法对学生模型结构进行搜索，得到所述评价标准下最优的学生模型结构；其中，模型安全性以待评估的学生模型在使用神经网络对抗攻击方法产生的对抗样本集上的准确率作为评价标准；

S5：使用预训练模型知识蒸馏方法对最优的学生模型结构进行知识蒸馏，得到完整的学生模型。

2.如权利要求1所述的预训练模型知识蒸馏的安全性增强方法，其特征在于，步骤S4，在所述学生模型结构搜索空间中，使用所述训练数据集，以学生模型结构在使用所述老师模型知识蒸馏后得到的待评估的学生模型的模型安全性、模型推理预测效果以及模型的存储和计算效率综合作为评价标准，采用神经网络结构搜索方法对学生模型结构进行搜索，得到所述评价标准下最优的学生模型结构，具体包括：

S41：获取验证数据集，包括多个第二样本和各所述第二样本的分类标签；

S42：在所述学生模型结构搜索空间中选取若干学生模型结构，构成一个种群，作为搜索起点；

S43：使用所述训练数据集和所述老师模型，依次对所述种群中的每个学生模型结构进行知识蒸馏，得到与每个学生模型结构对应的待评估的学生模型；其中，知识蒸馏的损失函数包括真实分类损失函数和知识蒸馏损失函数；

S44：使用神经网络对抗攻击方法，以所述验证数据集为起点，依次攻击每个待评估的学生模型，得到与每个待评估的学生模型对应的对抗样本集；

S45：计算每个待评估的学生模型在所述验证数据集上的准确率，用于代表所述学生模型结构的准确性；计算每个待评估的学生模型在对应的对抗样本集上的准确率，用于代表所述学生模型结构的安全性；以每个待评估的学生模型的参数量代表所述学生模型结构的高效性；将每个所述待评估的学生模型在所述验证数据集和对应的对抗样本集上的准确率以及所述待评估的学生模型的参数量加权，作为所述学生模型结构的评价结果；

S46：从种群中随机选取若干学生模型结构，比较选取的各学生模型结构的评价结果，将评价结果最低的学生模型结构从种群中移除，对评价结果最高的学生模型结构经过进化操作后作为子代学生模型结构放入种群；

S47：返回步骤S43，重复以上步骤S43～步骤S46，仅对所述种群中新加入的学生模型结构进行知识蒸馏、攻击和评价，直至所有搜索过的学生模型结构的评价结果收敛。

3.如权利要求2所述的预训练模型知识蒸馏的安全性增强方法，其特征在于，步骤S45中，按照如下公式计算所述学生模型结构的评价结果：

Fitness(S_N)＝α₁Acc(S_N，D2)+α₂Acc(S_N,TextFooler(D2))+α₃#W(S_N) (1)

其中，S_N表示待评估的学生模型，D2表示验证数据集，Acc(S_N，D2)表示所述待评估的学生模型在所述验证数据集上的准确率，TextFooler(D2)表示使用TextFooler方法以D2为起点攻击待评估的学生模型产生的对抗样本集，Acc(S_N,TextFooler(D2))表示所述待评估的学生模型在对应的对抗样本集上的准确率，#W(S_N)表示所述待评估的学生模型的权重参数个数，α₁表示准确性评价的权重，α₂表示安全性评价的权重，α₃表示高效性评价的权重。