[发明专利]推理时对已训练模型的对抗性后门攻击的检测

说明书

本发明涉及推理时对已训练模型的对抗性后门攻击的检测。提供了有助于在推理时检测对已训练模型的对抗性后门攻击的系统、计算机实现的方法和计算机程序产品。根据一个实施例，系统可以包括：存储计算机可执行组件的存储器；以及执行存储在所述存储器中的所述计算机可执行组件的处理器。所述计算机可执行组件可以包括日志组件，记录由已训练模型基于推理请求生成的预测和相应激活值。所述计算机可执行组件可以进一步包括分析组件，在推理时使用模型以基于所述预测和所述相应激活值来检测后门触发请求。在一些实施例中，所述日志组件记录来自所述已训练模型的一个或多个层的所述预测和所述相应激活值。

背景技术

本主题公开涉及对模型的对抗性(adversarial)攻击，并且更具体地，涉及在推理时对已训练模型的对抗性后门攻击的检测。

发明内容

以下提供对本发明的一个或多个实施例的基本理解的概述。概述并非旨在标识关键或重要元素，也不旨在描绘特定实施例的任何范围或权利要求的任何范围。概述的唯一目的是以简化的形式呈现概念，作为稍后呈现的更详细描述的序言。在本文描述的一个或多个实施例中，描述了可以促进在推理时检测对训练模型的对抗性后门攻击的系统、计算机实现的方法和/或计算机程序产品。

根据一个实施例，系统可以包括存储计算机可执行组件的存储器和执行存储在存储器中的计算机可执行组件的处理器。计算机可执行组件可以包括日志组件，记录由已训练模型基于推理请求生成的预测和相应激活值。计算机可执行组件可以进一步包括分析组件，在推理时使用模型以基于预测和相应激活值来检测后门触发请求。这样的系统的优点在于，它可以在已训练模型的推理时自动地(例如，无需人工操作)使用模型来执行这样的检测，而无需访问和/或分析用于训练已训练模型的训练数据。

在一些实施例中，日志组件记录来自已训练模型的一个或多个层的预测和相应激活值。这样的系统的优点是它可以自动(例如，无需人工操作)检测提交给在转移学习中使用的已训练模型和/或从模型市场获得的已训练模型的后门触发请求。

根据另一个实施例，一种计算机实现的方法可以包括：由与处理器可操作地耦合的系统记录由已训练模型基于推理请求生成的预测和相应激活值。计算机实现的方法可以进一步包括由系统在推理时使用模型以基于预测和相应激活值来检测后门触发请求。这样的计算机实现的方法的优点在于，它可以被实现为在已训练模型的推理时自动地(例如，无需人工操作)使用模型来执行这样的检测，而无需访问和/或分析用于训练已训练模型的训练数据。

在一些实施例中，计算机实施的方法可以进一步包括由系统记录来自已训练模型的一个或多个层的预测和相应激活值。这样的计算机实现的方法的优点在于，可以被实现为自动(例如，无需人工操作)检测提交给在转移学习中使用的已训练模型和/或从模型市场获得的已训练模型的后门触发请求。

根据另一个实施例，提供了一种计算机程序产品，有助于在推理时检测对已训练模型的对抗性后门攻击。计算机程序产品包括计算机可读存储介质，计算机可读存储介质具有体现在其上的程序指令，程序指令可由处理器执行以使处理器记录处理器基于推理请求生成的预测和相应激活值，预测和相应激活值由已训练模型生成。程序指令还可以由处理器执行以使处理器在推理时使用模型以基于预测和相应激活值来检测后门触发请求。这样的计算机程序产品的优点在于，它可以自动(例如，无需人工操作)在已训练模型的推理时使用模型执行这样的检测，而无需访问和/或分析用于训练已训练模型的训练数据。

在一些实施例中，程序指令还可以由处理器执行以使处理器记录来自已训练模型的一个或多个层的预测和相应激活值。这样的计算机程序产品的优点在于，它可以自动(例如，无需人工操作)检测提交给在转移学习中使用的已训练模型和/或从模型市场获得的已训练模型的后门触发请求。

附图说明

图1示出了根据本文描述的一个或多个实施例的示例性非限制性系统的框图，其有助于在推理时对已训练模型的对抗性后门攻击的检测；