[发明专利]基于特征的预训练模型选择算法的脆弱性评估方法及系统

权利要求书

1.基于特征的预训练模型选择算法的脆弱性评估方法，其特征在于，所述方法包括：

获取低级预训练模型和高级预训练模型；

对所述低级预训练模型使用少量下游任务的数据和有监督的对比学习损失函数训练进行模型伪装攻击，以得到伪装的低级预训练模型；

基于特征的预训练模型选择算法对所述高级预训练模型和所述伪装的低级预训练模型进行选择；

若选定模型为所述伪装的低级预训练模型，则判定基于特征的预训练模型选择算法存在脆弱性。

2.根据权利要求1所述的基于特征的预训练模型选择算法的脆弱性评估方法，其特征在于，对所述低级预训练模型进行伪装攻击，具体包括：

使用少量下游任务的数据和有监督的对比学习损失函数对低级预训练模型训练进行伪装攻击，以使同一类别的目标数据经过伪装后的预训练模型提取的数据特征相接近。

3.根据权利要求2所述的基于特征的预训练模型选择算法的脆弱性评估方法，其特征在于，对所述低级预训练模型进行模型伪装攻击过程中，在一个batch中使用N个下游任务的样本每个样本x_k前向传播K次，使用不同的dropout masks,得到K×N样本的特征表示

4.根据权利要求2所述的基于特征的预训练模型选择算法的脆弱性评估方法，其特征在于，所述有监督的对比学习损失函数具体为：

是除了j以外的样本特征的下标；

是中和标签相同的样本特征的下标集合；

N为一个batch中下游样本数量；

K为每个样本前向传播次数；

通过优化对模型进行伪装，使下游任务中相同标签的样本被伪装后模型提取的特征接近。

5.根据权利要求1所述的基于特征的预训练模型选择算法的脆弱性评估方法，其特征在于，所述基于特征的预训练模型选择算法对高级预训练模型和伪装的低级预训练模型进行选择，具体包括：

根据预训练模型提取的数据特征和数据标签之间的联系对各预训练模型进行打分，并分别得到分值；

伪装的低级预训练模型得分高于高级预训练模型，最终伪装的低级预训练模型被选出。

6.根据权利要求1-3中任一所述的基于特征的预训练模型选择算法的脆弱性评估方法，其特征在于，所述方法还包括：

在对低级预训练模型进行模型伪装攻击时，当无法确定在哪个下游任务上评估选择预训练模型，则混合多个下游任务的样本进行混合伪装攻击；

当无法确定评估选择预训练模型的数据集时，由于一个下游任务类型具有多个数据集，则使用同一下游任务类型的任一数据集进行伪装攻击。

7.基于特征的预训练模型选择算法的脆弱性评估系统，其特征在于，所述系统包括：

模型伪装模块和模型选择模块；

所述模型伪装模块利用少量下游任务的数据和有监督的对比学习损失函数对低级预训练模型进行训练，完成伪装攻击；

所述模型选择模块从高级预训练模型和伪装的低级预训练模型中挑选出伪装的低级预训练模型。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于特征的预训练模型选择算法的脆弱性评估方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于特征的预训练模型选择算法的脆弱性评估方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于特征的预训练模型选择算法的脆弱性评估方法。