[发明专利]适用于人工智能系统的对抗样本快速预警方法及系统

权利要求书

1.一种适用于人工智能系统的对抗样本快速预警方法，其特征在于，包括：

深度学习模型构造步骤：在边缘服务器中构造深度学习模型，获取深度学习模型信息；

输出标签获取步骤：根据深度学习模型信息，获取深度学习模型输出标签信息；

新样本获取步骤：根据深度学习模型输出标签信息，采用CGAN重构与深度学习模型输出标签对应的新样本，获取新样本信息；

阈值比较判定步骤：根据新样本信息、原始输入参数，判定新样本和原始输入之间的差别是否大于给定阈值，获取新样本判定结果信息；

检测结果获取步骤：将深度学习模型的数据处理与对抗样本攻击的防御控制策略解耦为数据层和控制层两个部分，获取对抗样本攻击检测结果信息；

预警信息获取步骤：根据对抗样本攻击检测结果信息，获取对抗样本快速预警信息；

所述数据层由所有边缘用户的深度学习模型组成；

所述控制层包括：多个控制器；

所述控制器同时负责多个数据层深度学习模型的对抗样本攻击检测和预警。

2.根据权利要求1所述的适用于人工智能系统的对抗样本快速预警方法，其特征在于，所述检测结果获取步骤包括：

深度学习模型添加步骤：在数据层由用户选定待监测的深度学习模型，然后将选定的深度学习模型添加到控制器的监测对象列表中，将深度学习模型的输入以及输出作为控制器的输入；

数据层处理步骤：在进行对抗样本攻击检测时，数据层为深度学习模型的输入加入噪声并对深度学习模型的输出进行标签映射处理，将模型的输入输出发送到位于第三方平台的控制器上，并进行对抗样本攻击检测；

数据层维护步骤：数据层对RT表与FT表进行维护；

所述FT表记录历史请求中的标签以及初始样本；

所述RT表记录历史请求中的标签与生成样本来过滤冗余数据。

3.根据权利要求1所述的适用于人工智能系统的对抗样本快速预警方法，其特征在于，所述检测结果获取步骤包括：

CGAN网络引入步骤：在控制层引入了CGAN网络用于根据边缘深度模型输出的标签L生成重构样本；

所述CGAN网络包括：生成模型、判别模型；

所述生成模型、判别模型为两个相互对抗的模型。

4.一种适用于人工智能系统的对抗样本快速预警系统，其特征在于，包括：

深度学习模型构造模块：在边缘服务器中构造深度学习模型，获取深度学习模型信息；

输出标签获取模块：根据深度学习模型信息，获取深度学习模型输出标签信息；

新样本获取模块：根据深度学习模型输出标签信息，采用CGAN重构与深度学习模型输出标签对应的新样本，获取新样本信息；

阈值比较判定模块：根据新样本信息、原始输入参数，判定新样本和原始输入之间的差别是否大于给定阈值，获取新样本判定结果信息；

检测结果获取模块：将深度学习模型的数据处理与对抗样本攻击的防御控制策略解耦为数据层和控制层两个部分，获取对抗样本攻击检测结果信息；

预警信息获取模块：根据对抗样本攻击检测结果信息，获取对抗样本快速预警信息；

所述数据层由所有边缘用户的深度学习模型组成；

所述控制层包括：多个控制器；

所述控制器同时负责多个数据层深度学习模型的对抗样本攻击检测和预警。

5.根据权利要求4所述的适用于人工智能系统的对抗样本快速预警系统，其特征在于，所述检测结果获取模块包括：

深度学习模型添加模块：在数据层由用户选定待监测的深度学习模型，然后将选定的深度学习模型添加到控制器的监测对象列表中，将深度学习模型的输入以及输出作为控制器的输入；

数据层处理模块：在进行对抗样本攻击检测时，数据层为深度学习模型的输入加入噪声并对深度学习模型的输出进行标签映射处理，将模型的输入输出发送到位于第三方平台的控制器上，并进行对抗样本攻击检测；

数据层维护模块：数据层对RT表与FT表进行维护；

所述FT表记录历史请求中的标签以及初始样本；

所述RT表记录历史请求中的标签与生成样本来过滤冗余数据。

6.根据权利要求4所述的适用于人工智能系统的对抗样本快速预警系统，其特征在于，所述检测结果获取模块包括：

CGAN网络引入模块：在控制层引入了CGAN网络用于根据边缘深度模型输出的标签L生成重构样本；

所述CGAN网络包括：生成模型、判别模型；

所述生成模型、判别模型为两个相互对抗的模型。