[发明专利]人工智能系统的测试方法和装置

权利要求书

1.人工智能系统的测试方法，包括：

在所述人工智能系统已被应用于一个业务应用场景之后，获取至少一个实际检测对象；所述实际检测对象为：在所述人工智能系统被应用的所述业务应用场景中采集到的、已经被所述人工智能系统验证成功的检测对象；

生成至少一个干扰检测对象；

将至少一个所述干扰检测对象以及至少一个所述实际检测对象分别作为样本检测对象，组成包括至少两个样本检测对象的测试样本集；

从所述测试样本集中选取至少一个样本检测对象；

将选取的至少一个所述样本检测对象分别输入所述人工智能系统；

监控所述人工智能系统对输入的至少一个所述样本检测对象的处理，以得到所述人工智能系统的测试结果；

其中，当输入所述人工智能系统的所述样本检测对象为干扰检测对象，且该干扰检测对象为利用扰动技术对可用检测对象进行扰动而生成时；该方法进一步包括：在利用扰动技术对可用检测对象进行扰动来生成所述干扰检测对象时，计算该干扰检测对象对应的扰动幅度值；

相应地，所述监控所述人工智能系统对输入的至少一个样本检测对象的处理以得到所述人工智能系统的测试结果，包括：针对分别输入所述人工智能系统的每一个样本检测对象，如果当前输入的所述样本检测对象为干扰检测对象时，监控所述人工智能系统的智能算法是否输出验证成功的结果，如果是，继续判断当前输入的干扰检测对象对应的扰动幅度值是否大于预先设置的扰动阈值；如果大于，则确定所述人工智能系统的所述智能算法当前出现异常，如果不大于，则确定所述人工智能系统的所述智能算法当前未出现异常；

所述检测对象包括图像；

所述计算该干扰检测对象对应的扰动幅度值包括以下中的至少一项：

计算加入到可用检测对象中的扰动像素的数量与该可用检测对象的像素的数量的比值，以得到所述干扰检测对象对应的扰动幅度值；

利用可用检测对象和根据该可用检测对象所生成的干扰检测对象，计算L2范数值，以得到所述干扰检测对象对应的扰动幅度值。

2.根据权利要求1所述的方法，其中，所述生成至少一个干扰检测对象包括：

根据检测对象的特征，利用模拟生成算法模拟出所述至少一个干扰检测对象。

3.根据权利要求2所述的方法，其中，

所述检测对象包括人脸图像；则所述模拟生成算法包括：Deepfake模型算法或者GAN模型算法；

或者，

所述检测对象包括人的声音；则所述模拟生成算法包括：GAN模型算法。

4.根据权利要求1所述的方法，其中，所述生成至少一个干扰检测对象包括：

获取至少一个可用检测对象；所述可用检测对象为满足所述人工智能系统的输入要求的检测对象；

利用扰动技术，对所述至少一个可用检测对象进行扰动，以得到所述至少一个干扰检测对象。

5.根据权利要求1所述的方法，其中，

根据对所述人工智能系统的测试任务，确定所述测试样本集中的所述实际检测对象的个数以及所述干扰检测对象的个数；

或者，

根据所述人工智能系统在业务应用场景中的干扰统计数据，确定所述测试样本集中的所述实际检测对象的个数以及所述干扰检测对象的个数。

6.根据权利要求1至5中任一所述的方法，其中，所述监控所述人工智能系统对输入的至少一个样本检测对象的处理，以得到所述人工智能系统的测试结果，包括：

针对分别输入所述人工智能系统的每一个样本检测对象，监控所述人工智能系统的智能算法是否调用了当前输入的样本检测对象，如果否，则确定所述人工智能系统的所述智能算法当前出现异常；

或者，

针对分别输入所述人工智能系统的每一个样本检测对象，如果当前输入的所述样本检测对象为实际检测对象时，监控所述人工智能系统的所述智能算法是否输出验证错误的结果，如果是，则确定所述人工智能系统的所述智能算法当前出现异常。