[发明专利]对抗样本的检测方法、装置及设备

说明书

本申请是关于一种对抗样本的检测方法、装置及设备。该方法包括：将待检测样本输入深度学习模型，提取深度学习模型每层的特征图；将特征图进行协方差矩阵估计，获得待检测样本在深度学习模型的总置信度；将总置信度与预设阈值进行比较，当总置信度大于或等于预设阈值，判定待检测样本为对抗样本。本申请提供的方案，可以快速判断待检测样本是否为对抗样本，从而使攻击者无法实现对抗样本攻击。本申请的检测方法复杂度低，易于实现，且有助于提高深度学习的应用安全。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种对抗样本的检测方法、装置及设备。

背景技术

机器学习已经成为当前计算机领域研究和应用最广泛的技术之一，在图像处理、自然语言处理、网络安全等领域被广泛应用，给人类带来了极大的便利。尤其是近年来，随着机器学习中深度学习这一分支的蓬勃发展，深度学习在很多领域都取得了十分令人印象深刻的成绩,例如图像识别、目标检测、文本分析、推荐系统等。

然而，对抗样本(Adversarial examples)的发现，对深度学习的安全使用带来了极大的挑战,尤其是在自动驾驶、刷脸支付等对于安全敏感的领域，对抗样本的存在为其技术本身和落地应用带来了更多不确定性。其中，对抗样本是指在自然样本上添加微小的扰动而形成的样本。相较于原自然样本,此类样本的改变通常不影响肉眼判断，甚至于肉眼不可见，但可以使训练好的深度学习模型例如DNN(Deep Neural Networks，深度神经网络)以高置信度得出与原自然样本不同的输出。深度学习模型包括多种类型，例如包括DNN、CNN(Convolutional Neural Networks，卷积神经网络)、RNN(Recurrent Neural Networks，循环神经网络)等。通过构造轻微的扰动来干扰自然样本，可以使深度学习模型的图像识别系统输出攻击者想要的任意错误结果。可以发现，对抗样本的存在，使得深度学习在金融、自动驾驶等领域存在巨大的安全隐患。例如在人脸支付领域，如果攻击者根据消费者的人脸图像构造对抗样本，将会对消费者的个人财产产生巨大的安全威胁。

因此，需要提供一种能检测出对抗样本的检测方法，以提高深度学习应用的安全性。

发明内容

为克服相关技术中存在的问题，本申请提供一种对抗样本的检测方法、装置及设备，该对抗样本的检测方法、装置及设备，能够检测出对抗样本，提高深度学习应用的安全性。

本申请第一方面提供一种对抗样本的检测方法，包括：

将待检测样本输入深度学习模型，提取所述深度学习模型每层的特征图；

将所述特征图进行协方差矩阵估计，获得所述待检测样本在所述深度学习模型的总置信度；

将所述总置信度与预设阈值进行比较，当所述总置信度大于或等于所述预设阈值，判定所述待检测样本为对抗样本。

在其中一个实施例中，所述将所述特征图进行协方差矩阵估计，包括：将所述特征图进行Wishart分布的协方差矩阵抗差估计。

在其中一个实施例中，所述将待检测样本输入深度学习模型，提取所述深度学习模型每层的特征图，包括：

将待检测样本输入卷积神经网络，获取所述卷积神经网络每层的特征图。

在其中一个实施例中，所述获得所述待检测样本在所述深度学习模型的总置信度，包括：

获取所述待检测样本在所述卷积神经网络每层的置信度；

将每层的所述置信度进行加权运算后，得到所述待检测样本在所述深度学习模型的总置信度。

在其中一个实施例中，所述将每层的所述置信度进行加权运算时采用的权重，通过Logistic模型进行处理得到。

在其中一个实施例中，所述获取所述待检测样本在所述卷积神经网络每层的置信度，包括：