[发明专利]面向深度学习模型中毒攻击的检测方法、装置及系统

权利要求书

1.一种面向深度学习模型中毒攻击的检测方法，其特征在于，包括以下步骤：

(1)获取样本集和待检测深度学习模型；

(2)构建与待检测深度学习模型结构相同的良性模型，并采用样本集预训练良性模型；

(3)从样本集中获取部分样本数据进行数据增广，针对每类样本获得相同数量的新样本数据，组成新样本数据集；

(4)将新样本数据集的任意一类新样本数据作为目标类，除目标类外的任意一类新样本数据作为源类，对预训练后的良性模型进行目标类的多种中毒攻击，获得多种中毒模型和中毒模型对应的多种中毒样本；

(5)利用中毒模型对其他中毒模型生成的中毒样本进行检测，获得中毒样本在所有非所出中毒模型下的检测结果，依据检测结果筛选并构建中毒模型池和中毒样本池；

(6)将中毒样本池中的中毒样本输入至待检测深度学习模型中，依据中毒样本在待检测深度学习模型的检测结果和中毒样本在非所出中毒模型下的检测结果来判断待检测深度学习模型是否中毒。

2.如权利要求1所述的面向深度学习模型中毒攻击的检测方法，其特征在于，所述样本集为图像数据集，所述待检测深度学习模型为深度学习模型，采用样本集预训练良性模型时，以样本数据的预测结果和真实标签的交叉熵作为损失函数来更新良性模型的网络参数。

3.如权利要求1所述的面向深度学习模型中毒攻击的检测方法，其特征在于，对样本集中获取部分样本数据进行图像翻转、旋转、局部变形处理实现数据增广，针对每类别获得m张新样本数据，总计获得m*n个新样本数据，组成新样本数据集，n为类别数。

4.如权利要求1所述的面向深度学习模型中毒攻击的检测方法，其特征在于，在中毒攻击时，选取第i类的m张新样本数据作为目标类，取第j类m张样本作为源类，其中，i∈[1,2,...,n-1,n]，j∈[1,2,...,n-1,n]，且j≠i，依次将源类作为预训练后的良性模型的输入，并采用多种中毒攻击方法对良性模型进行趋向于目标类的中毒攻击，针对每种中毒攻击方法获取n*(n-1)个中毒模型M_{poison_1}＝{M₁,M₂,...,M_n*(n-1)}和n*(n-1)种中毒样本，共计m*n*(n-1)张中毒样本X_{poison_1}＝{X₁,X₂,...,X_m*n*(n-1)}，针对c种中毒方法，则共获得n*(n-1)*c个中毒模型，m*n*(n-1)*c张中毒样本。

5.如权利要求1或4所述的面向深度学习模型中毒攻击的检测方法，其特征在于，采用的中毒攻击方法包括带触发器的中毒攻击、特征嵌入的无明显触发器的中毒攻击以及修改类标方式的中毒方法。

6.如权利要求1或4所述的面向深度学习模型中毒攻击的检测方法，其特征在于，将同一种中毒攻击方法下生成m*n*(n-1)张中毒样本X_k依次输入至n*(n-1)-1个中毒模型M_p中进行测试，k∈[1,2,...,m*n*(n-1)]，p∈[1,2,...,n*(n-1)-1]，且p≠k，获得中毒样本在不同中毒模型下的检测结果，并依据检测结果筛选出检测结果低于0.5的中毒样本与对应的中毒模型构建中毒样本池和中毒模型池。

7.如权利要求1或4所述的面向深度学习模型中毒攻击的检测方法，其特征在于，步骤(6)中，当中毒样本在待检测深度学习模型的检测结果与中毒样本在非所出中毒模型下的检测结果相差小于设定阈值时，则表明待检测深度学习模型中毒。