[发明专利]推理时对已训练模型的对抗性后门攻击的检测

权利要求书

1.一种系统，包括：

存储器，存储计算机可执行组件；和

处理器，执行存储在所述存储器中的所述计算机可执行组件，其中，所述计算机可执行组件包括：

日志组件，记录由已训练模型基于推理请求生成的预测和相应激活值；和

分析组件，在推理时使用模型以基于所述预测和所述相应激活值检测后门触发请求。

2.根据权利要求1所述的系统，其中，所述日志组件记录来自所述已训练模型的一个或多个层的所述预测和所述相应激活值。

3.根据权利要求1所述的系统，其中：

所述已训练模型选自包括已训练人工智能模型、已训练机器学习模型、已训练深度学习模型和已训练神经网络模型的组；和

所述模型选自包括聚类模型、激活聚类模型、启发式模型、离群检测器模型、已经训练离群检测器模型、局部离群因子模型、已训练局部离群因子模型、新颖性检测器模型以及已训练一类支持向量机模型的第二组。

4.根据权利要求1所述的系统，其中所述计算机可执行组件还包括：

验证组件，验证以下至少一项的真实性：一个或多个所述推理请求；一个或多个所述预测；或一个或多个所述相应激活值。

5.根据权利要求1所述的系统，其中计算机可执行组件还包括：

训练器组件，基于以下至少一项来训练模型：一个或多个所述推理请求；一个或多个所述预测以及一个或多个所述相应激活值；一个或多个已验证推理请求；或一个或多个已验证预测以及一个或多个已验证的相应激活值。

6.根据权利要求1所述的系统，其中计算机可执行组件还包括：

拦截组件，拦截提交给所述已训练模型的推理请求，并从所述已训练模型提取在所述已训练模型的至少一个层中基于所述推理请求生成的至少一个预测或一个或多个相应激活值。

7.根据权利要求1所述的系统，其中所述计算机可执行组件还包括：

动作组件，基于检测到的后门触发请求停用所述已训练模型。

8.根据权利要求1所述的系统，其中所述分析组件在推理时使用所述模型基于所述预测和所述相应激活值检测所述后门触发请求，以有助于以下至少一项：提高所述模型的后门触发请求检测精度；或减少与所述模型相关的处理单元的计算成本。

9.一种计算机实现的方法，包括：

记录由已训练模型基于推理请求生成的预测和相应激活值；和

在推理时使用模型以基于所述预测和所述相应激活值检测后门触发请求。

10.根据权利要求9所述的计算机实现的方法，其中记录包括：

记录来自所述已训练模型的一个或多个层的所述预测和所述相应激活值。

11.根据权利要求9所述的计算机实现的方法，其中：

所述已训练模型选自包括已训练人工智能模型、已训练深度学习模型和已训练神经网络模型的组；和

所述模型选自包括聚类模型、激活聚类模型、启发式模型、离群检测器模型、已经训练离群检测器模型、局部离群因子模型、已训练局部离群因子模型、新颖性检测器模型以及已训练一类支持向量机模型的第二组。

12.根据权利要求9所述的计算机实现的方法，还包括：

验证以下至少一项的真实性：一个或多个所述推理请求；一个或多个所述预测；或一个或多个所述相应激活值。

13.根据权利要求9所述的计算机实现的方法，还包括：

基于以下至少一项来训练所述模型：一个或多个所述推理请求；一个或多个所述预测以及一个或多个所述相应激活值；一个或多个所述已验证推理请求；或一个或多个已验证预测以及一个或多个已验证的相应激活值。