[发明专利]后门样本的检测方法、装置和电子设备

说明书

本说明书实施例提出了一种后门样本的检测方法、装置和电子设备，其中，上述后门样本的检测方法中，获取待检测的样本之后，利用预先训练的第一模型对上述待检测的样本进行分类，获得上述待检测的样本所属的第一类别，然后获取第一模型对上述待检测的样本进行分类之后获得的第一输出向量，利用预先训练的第二模型对上述第一输出向量进行分类，获得上述第一输出向量所属的第二类别，其中，上述第二类别不同于上述第一类别，最后，利用上述第一模型获得上述待检测的样本分别属于第一类别和第二类别的概率，以及利用上述第二模型获得上述第一输出向量分别属于第一类别和第二类别的概率，根据上述概率，获得上述待检测的样本是否为后门样本的检测结果。

技术领域

本说明书实施例涉及人工智能技术领域，尤其一种后门样本的检测方法、装置和电子设备。

背景技术

机器学习模型的一个重要应用就是进行分类任务。然而，经研究发现可以通过在机器学习模型的训练样本中加入后门样本进行后门攻击，使机器学习模型在含有后门的样本中分类错误。例如，可以在图片分类任务中通过在“汽车”类别等非“猫”类别的图片上加入一个难以察觉的像素点（后门）得到后门样本，并将这个后门样本标注为“猫”来训练机器学习模型，从而得到一个加入了后门的机器学习模型。将任意图片加入前述的像素点（后门），这个加入了后门的机器学习模型都会将这个后门样本识别为“猫”，以此达到欺骗机器学习模型的目的。

因此，需要提供一种后门样本的检测方案，检测出训练样本中的后门样本并将其去除，从而防止机器学习模型被后门样本污染。

发明内容

本说明书实施例提供了一种后门样本的检测方法、装置和电子设备，以实现对后门样本进行检测，提高训练获得的模型的识别准确率。

第一方面，本说明书实施例提供一种后门样本的检测方法，包括：

获取待检测的样本；

利用预先训练的第一模型对所述待检测的样本进行分类，获得所述待检测的样本所属的第一类别；其中，所述第一模型是利用包括正常样本和后门样本的训练样本训练的；

获取所述待检测的样本对应的第一输出向量，所述第一输出向量是所述第一模型对所述待检测的样本进行分类之后获得的；

利用预先训练的第二模型对所述第一输出向量进行分类，获得所述第一输出向量属于各类别的概率，根据所述概率选择所述第一输出向量所属的第二类别，所述第二类别不同于所述第一类别；其中，所述第二模型是利用包括正常样本的训练样本训练的；

利用所述第一模型获得所述待检测的样本分别属于所述第一类别和所述第二类别的概率，以及利用所述第二模型获得所述第一输出向量分别属于所述第一类别和所述第二类别的概率；

根据所述概率，获得所述待检测的样本是否为后门样本的检测结果。

上述后门样本的检测方法中，获取待检测的样本之后，利用预先训练的第一模型对上述待检测的样本进行分类，获得上述待检测的样本所属的第一类别，然后获取第一模型对上述待检测的样本进行分类之后获得的第一输出向量，利用预先训练的第二模型对上述第一输出向量进行分类，获得上述第一输出向量所属的第二类别，其中，上述第二类别不同于上述第一类别，最后，利用上述第一模型获得上述待检测的样本分别属于第一类别和第二类别的概率，以及利用上述第二模型获得上述第一输出向量分别属于第一类别和第二类别的概率，根据上述概率，获得上述待检测的样本是否为后门样本的检测结果，从而可以实现对后门样本进行检测，提高了训练获得的模型的识别准确率。

其中一种可能的实现方式中，所述待检测的样本属于所述第一类别的概率为第一概率，所述待检测的样本属于所述第二类别的概率为第二概率；所述第一输出向量属于所述第一类别的概率为第三概率，所述第一输出向量属于所述第二类别的概率为第四概率；

所述根据所述概率，获得所述待检测的样本是否为后门样本的检测结果包括：