[发明专利]对抗样本检测方法、装置、计算设备及计算机存储介质

说明书

本申请涉及机器学习技术领域，公开了一种对抗样本检测方法、装置、计算设备及计算机存储介质。该方法包括：获取训练样本及其对应的训练样本标签，训练样本标签包括正常样本和对抗样本；将训练样本输入目标模型，得到训练样本的第一预测得分向量；将训练样本添加N次随机扰动，得到N组对比训练样本；将N组对比训练样本分别输入目标模型，得到每一组对比训练样本的第二预测得分向量；根据第一预测得分向量和每一组对比训练样本的第二预测得分向量构建特征数据；根据特征数据及特征数据对应的训练样本标签，训练分类模型，得到检测器；根据该检测器对输入的测试数据进行检测。本发明实施例可以根据该检测器实现对抗样本的可靠检测。

技术领域

本申请涉及机器学习技术领域，特别涉及一种对抗样本检测方法、装置、计算设备及计算机存储介质。

背景技术

机器学习作为一种重要的数据分析工具广泛应用于生物特征识别、汽车自动驾驶、机器视觉等多个应用领域。在机器学习带给人们巨大便利的同时，也暴露了一些安全性问题。对原始样本加入微小的、人类察觉不到的扰动生成对抗样本，机器学习模型很容易遭受对抗样本的攻击。比如，针对面部识别模型的特点，通过对原始面部图片添加微小的扰动使面部识别模型做出错误的分类。还有针对自动汽车驾驶、语音控制系统的恶意控制等。攻击者通过对原始样本添加微小的扰动，生成对抗样本，使得对抗样本被智能系统错误识别，从而对其造成恶意破坏。

当前对于对抗样本应对方法主要有防御和检测两种，防御是指构建鲁棒性更好的模型，检测旨在通过某种方法将正常样本和对抗样本区分开。在自适应对抗攻击下，攻击者不仅知道目标模型的所有信息，也知道所使用的应对对抗攻击的策略，那么攻击者就会有目的性的构建既能成功攻击目标模型又能绕过防御的对抗样本，因此，这两种方法在在自适应对抗攻击下都会失效。目前，没有一种适用各种目标模型的对抗样本检测方法。

发明内容

本申请实施方式的目的在于提供一种对抗样本检测方法、装置、计算设备及计算机存储介质。

为解决上述技术问题，本申请的实施方式提供了一种对抗样本检测方法，包含以下步骤：获取训练样本及其对应的训练样本标签，所述训练样本标签包括正常样本和对抗样本；将所述训练样本输入目标模型，得到所述训练样本的第一预测得分向量；将所述训练样本添加N次随机扰动，得到N组对比训练样本，其中，N为大于0的自然数；将所述N组对比训练样本分别输入目标模型，得到每一组对比训练样本的第二预测得分向量；根据所述第一预测得分向量和所述每一组对比训练样本的第二预测得分向量构建特征数据；根据所述特征数据及所述特征数据对应的训练样本标签，训练分类模型，得到检测器；根据所述检测器对输入的测试数据进行检测。

在一种可选的方式中，将所述训练样本输入目标模型，得到所述训练样本的第一预测得分向量，包括：将所述训练样本输入目标模型，得到每一所述训练样本对应的置信度向量；获取所述置信度向量中的最大值，得到每一所述训练样本的预测得分；将所述每一训练样本的预测得分组成的向量作为所述训练样本的第一预测得分向量。

在一种可选的方式中，将训练样本添加N次随机扰动，得到N组对比训练样本，包括：根据预设分布函数生成随机扰动，所述预设分布函数为均值为0，且对称分布的分布函数；将所述训练样本添加N次所述随机扰动，得到N组对比训练样本。

在一种可选的方式中，所述预设分布函数为均值为0的高斯分布函数。

在一种可选的方式中，根据所述第一预测得分向量和所述每一组对比训练样本的第二预测得分向量构建特征数据，包括：计算所述第一预测得分向量和所述每一组对比训练样本的第二预测得分向量的差值向量；根据N组对比训练样本的差值向量构建特征数据。

在一种可选的方式中，计算所述第一预测得分向量和所述每一组对比训练样本的第二预测得分向量的差值向量，包括：计算每一组对比训练样本的第二预测得分向量相对于所述第一预测得分向量的变化率向量；将所述变化率向量作为所述差值向量。