[发明专利]一种对抗样本检测方法、装置、电子设备及介质

说明书

本申请实施例提供了一种对抗样本检测方法、装置、电子设备及介质，涉及深度学习技术领域。该方法包括：获取待分类图像，将待分类图像分别输入图像分类模型和辅助模型，获取图像分类模型对待分类图像的第一分类结果，以及辅助模型对待分类图像的第二分类结果。其中，辅助模型为在指定约束条件下，与图像分类模型的决策边界差异最大的深度学习模型。若第一分类结果与第二分类结果相同，则确定待分类图像的分类结果为第一分类结果；若第一分类结果与第二分类结果不同，则确定待分类图像为对抗样本。采用该方法可以提高深度学习模型在受到对抗样本攻击时的分类准确率。

技术领域

本申请涉及深度学习技术领域，特别是涉及一种对抗样本检测方法、装置、电子设备及介质。

背景技术

随着人工智能科技和机器学习的飞速发展，深度学习模型被应用在越来越多的场景中。比如在自动驾驶和智能视频监控的应用场景中，可以将采集到的图像输入到用于对图像分类的深度学习模型，该深度学习模型可以识别出该图像所属的分类。

经研究发现，深度学习模型在图像分类领域具有较高的分类正确率，但是深度学习模型容易受到带有轻微扰动的输入的影响。比如，若采集到的图像被攻击者添加轻微的扰动，则该图像被输入深度学习模型之后，深度学习模型可能会输出错误的分类结果。

目前攻击者可以通过在大量图像中添加通用扰动的方式，导致深度学习模型对大量图像的分类结果均不准确，被添加了扰动的图像可以被称为对抗样本。相关技术中深度学习模型容易受到对抗样本的攻击，使得深度学习模型的分类准确率较低。

发明内容

本申请实施例的目的在于提供一种对抗样本检测方法、装置、电子设备及介质，以提高深度学习模型在受到对抗样本攻击时的分类准确率。

第一方面，本申请实施例提供一种对抗样本检测方法，所述方法包括：

获取待分类图像；

将所述待分类图像分别输入图像分类模型和辅助模型，获取所述图像分类模型对所述待分类图像的第一分类结果，以及所述辅助模型对所述待分类图像的第二分类结果；其中，所述辅助模型为在指定约束条件下，与所述图像分类模型的决策边界差异最大的深度学习模型；

若所述第一分类结果与所述第二分类结果相同，则确定所述待分类图像的分类结果为所述第一分类结果；

若所述第一分类结果与所述第二分类结果不同，则确定所述待分类图像为对抗样本。

在一种可能的实现方式中，所述辅助模型通过以下步骤得到：

针对所述图像分类模型对应的预设训练集中的每个指定样本，生成该指定样本对应的边界样本；其中，所述图像分类模型为基于所述预设训练集对深度学习模型进行训练得到的模型，所述边界样本位于所述图像分类模型的决策边界；

针对每个指定样本，为该指定样本添加指定扰动，得到该指定样本对应的反边界样本；其中，所述指定扰动为：在所述指定约束条件下，使得所述图像分类模型与所述辅助模型的决策边界差异最大的扰动，所述图像分类模型的决策边界基于各指定样本对应的边界样本确定；所述指定约束条件为所述指定扰动的规模小于扰动阈值；

基于所述预设训练集和反边界样本集对深度学习模型进行训练，得到所述辅助模型；所述反边界样本集包括各指定样本对应的反边界样本，以及各反边界样本所属的类别，所述辅助模型的决策边界基于各指定样本对应的反边界样本确定。

在一种可能的实现方式中，所述针对所述图像分类模型对应的预设训练集中的每个指定样本，生成该指定样本对应的边界样本包括：

针对所述图像分类模型对应的预设训练集中的每个指定样本，基于预设公式为该指定样本添加扰动；