[发明专利]使用交叉训练模型检测对抗样本的方法

说明书

一种使用交叉训练模型检测对抗样本的方法，首先通过普通样本分别训练两个待优化模型，然后混合生成训练样本集并交叉训练若干次，完成训练后得到的两个模型分别用于对样本进行分类，根据分类结果的是否相同判断该样本是否为对抗样本；本发明能够显著减小系统受到对抗样本攻击的风险，能够广泛应用于基于分类器的机器学习模型，如语音识别、图像分类等多个领域，提高对抗样本检测率。用于人工智能API，可以对输入样本进行过滤，对人工智能的安全性有明显提升。

技术领域

本发明涉及的是一种人工智能领域的技术，具体是一种针对对抗样本攻击的基于交叉训练的对抗样本检测方法。

背景技术

随着人工智能和深度学习的快速发展，机器学习本身的安全问题也不断涌现。攻击者在样本上加上精心构造的扰动，产生对抗样本，能导致机器识别出错误的结果，造成严重后果。如果将对抗样本作为训练数据的一部分，则可以增强鲁棒性，但还是不能抵抗不了强大的攻击方法，于是目前很多研究集中在对抗样本的鉴别上，希望通过独立于攻击方式的检测方法来抵御对抗性攻击。

发明内容

本发明提出一种使用交叉训练模型检测对抗样本的方法，通过优化训练数据集和训练过程，显著提高模型的鲁棒性。这样，一般的对抗样本无法使得模型产生误分类，而更强大的对抗样本以高概率导致两个模型分类不同，所以会被检测出来。这样一来，可以减小系统受到对抗样本攻击的风险。本发明针对人工智能对抗攻击，能够广泛应用于基于分类器的机器学习模型，如语音识别、图像分类等多个领域，提高对抗样本检测率。用于人工智能API，可以对输入样本进行过滤，对人工智能的安全性有明显提升。

本发明是通过以下技术方案实现的：

本发明首先通过普通样本分别训练两个待优化模型，然后混合生成训练样本集并交叉训练若干次，完成训练后得到的两个模型分别用于对样本进行分类，根据分类结果的是否相同判断该样本是否为对抗样本。

所述的训练样本集包括：正常样本、模型自身的对抗样本以及来自其他模型的对抗样本，其中正常样本、模型自身的对抗样本和另一个模型的对抗样本按1:2:1的比例混合。

所述的交叉训练是指：每轮训练中分别以训练样本集训练两个待优化模型，并根据每轮各自产生对抗样本对训练样本集进行更新，供下一轮交叉训练使用。

所述的两个模型分别为卷积神经网络以及全连接深度学习网络。

所述的对抗样本生成方法包括：快速梯度下降法(FGSM)、多重迭代的快速梯度下降算法(iter_FGSM)、基于优化的对抗样本距离计算方法(C&W)。

所述的交叉训练采用的损失函数为基于距离的损失函数：

其中：X_i是正常样本，是模型自身的对抗样本，是另一个模型的对抗样本，y_i是样本的正确分类标签，L(X_i|y_i)是输入X_i且标签为_yi时的损失值，和E_i分别是向模型中输入和X_i时输出的预测值(未经过argmax)，是和E_i的距离，k和γ是常数。

技术效果

与现有技术相比，本发明的特点在于用交叉训练的方式，训练两个模型，训练样本的丰富性以及训练过程的多轮迭代，增强了两个模型抵御对抗性攻击的鲁棒性。而且本发明采用的鉴别方法不是主流的基于样本周围样本的分布来鉴别，而是用两个模型分别分类，并通过分类结果的异同而鉴别。交叉训练的两个高鲁棒性模型，可以抵抗多数对抗样本，而通过两个模型分类结果的异同，以基于分类结果的方法检测，极大提高了检测正确性。

附图说明

图1为本发明总体结构示意图；