[发明专利]人工智能系统的测试方法和装置

说明书

本说明书实施例提供了一种人工智能系统的测试方法和装置。根据该实施例的方法，首先，获取至少一个实际检测对象，并且，生成至少一个干扰检测对象；然后，将至少一个干扰检测对象以及至少一个实际检测对象分别作为样本检测对象，组成包括至少两个样本检测对象的测试样本集；之后，从测试样本集中选取至少一个样本检测对象，每一次选取的样本检测对象可能是实际检测对象也可能是干扰检测对象，之后，将选取的对象分别输入人工智能系统，并监控人工智能系统对输入的实际检测对象或者干扰检测对象的检测结果，从而得到人工智能系统的测试结果。

技术领域

本说明书一个或多个实施例涉及人工智能技术领域，尤其涉及针对人工智能系统的测试方法和装置。

背景技术

随着人工智能(Artificial Intelligence，AI)技术的快速发展，在很多业务实现中，都加入了AI系统来作为业务系统的一部分。比如，在交通站点处需要进行人脸识别，则可以由AI系统来对人脸进行识别处理。

AI系统的可靠性关系到整个业务，因此，需要对AI系统进行测试。目前，对AI系统进行测试都是在将AI系统应用到业务系统之前，即在AI系统上线之前来进行测试的。因此，希望能有改进的方案，能够在AI系统被应用到业务系统中之后对AI系统的实际运行情况进行测试。

发明内容

本说明书一个或多个实施例描述了一种人工智能系统的测试方法和装置，能够在AI系统被应用到业务系统中之后对AI系统的实际运行情况进行测试。

根据第一方面，提供了一种人工智能系统的测试方法，该方法包括：

获取至少一个实际检测对象；所述实际检测对象为：在所述人工智能系统的业务应用场景中采集到的、已经被所述人工智能系统验证成功的检测对象；

生成至少一个干扰检测对象；

将至少一个所述干扰检测对象以及至少一个所述实际检测对象分别作为样本检测对象，组成包括至少两个样本检测对象的测试样本集；

从所述测试样本集中选取至少一个样本检测对象；

将选取的至少一个所述样本检测对象分别输入所述人工智能系统；

监控所述人工智能系统对输入的至少一个样本检测对象的处理，以得到所述人工智能系统的测试结果。

在一个实施例中，根据以下方式生成至少一个干扰检测对象包括：

根据检测对象的特征，利用模拟生成算法模拟出所述至少一个干扰检测对象。

在这样的情况下，当检测对象包括人脸图像时；则所述模拟生成算法包括Deepfake模型算法或者GAN模型算法；

当检测对象包括人的声音时，则所述模拟生成算法包括GAN模型算法。

在另一个实施例中，通过以下方式生成至少一个干扰检测对象包括：

获取至少一个可用检测对象；所述可用检测对象为满足所述人工智能系统的输入要求的检测对象；

利用扰动技术，对所述至少一个可用检测对象进行扰动，以得到所述至少一个干扰检测对象。

在一个实施例中，根据对所述人工智能系统的测试任务，确定所述测试样本集中的所述实际检测对象的个数以及所述干扰检测对象的个数。

在另一个实施例中，根据人工智能系统在业务应用场景中的干扰统计数据，确定所述测试样本集中的所述实际检测对象的个数以及所述干扰检测对象的个数。

在一个实施例中，所述监控所述人工智能系统对输入的至少一个样本检测对象的处理，以得到所述人工智能系统的测试结果，包括：