[发明专利]一种用于测试人工智能模型鲁棒性的方法和系统

摘要

本发明属于人工智能模型鲁棒性判定技术领域，并公开了一种在不知人工智能模型以及训练数据集情况下能有效地对未知模型进行攻击方法，包括以下步骤：原始数据集的浅层共享特征的捕获，并根据输入条件生成相应的目标样本。待测试人工智能模型用于预测目标样本的输出，该输出和正式的标签进行比对得到相应损失。同时生成的目标样本用于训练替代模型，并得到相应的输出，比较同一个样本在两个不同模型情况下的输出，得到比对损失，用于确保替代模型很好的学习待测试人工智能模型的全部功能。之后用一些成熟的攻击算法去攻击替代模型得到相应的对抗样本，并将这些对抗样本用于攻击未知的人工智能模型，进而判定人工智能模型的鲁棒性。