[发明专利]一种用于测试人工智能模型的方法及装置

说明书

本说明书提供一种用于测试人工智能模型的方法及装置，所述方法包括：向用户输出多个备选项，该多个备选项包括针对表格数据的第一类模型，针对自然语言数据的第二类模型和针对时序数据的第三类模型。确定所述用户从所述多个备选项中选择的至少一个目标模型，并获取所述用户输入的待测试模型及测试样本集；若所述用户选择的所述目标模型包括第一类模型，将所述待测试模型及所述测试样本集输入至所述第一类模型；若所述目标模型包括第二类模型，将所述待测试模型及所述测试样本集输入至所述第二类模型；若所述目标模型包括第三类模型，将所述待测试模型及所述测试样本集输入至所述第三类模型。

技术领域

本说明书一个或多个实施例涉及机器学习技术领域，特别涉及一种用于测试人工智能模型的方法及装置。

背景技术

目前来说，随着人工智能技术的不断发展，人工智能模型的应用也越来越广泛，为人们的工作和生活带来了更多的便利。然而，人工智能模型的可信度仍然是一个潜在的问题。因此，如何对人工智能模型进行测试，以及测试哪些指标具有非常重要的意义。

发明内容

为了解决上述技术问题之一，本说明书一个或多个实施例提供一种用于测试人工智能模型的方法及装置。

根据第一方面，提供一种用于测试人工智能模型的方法，包括：

向用户输出多个备选项；所述多个备选项包括针对表格数据的第一类模型，针对自然语言数据的第二类模型和针对时序数据的第三类模型；

确定所述用户从所述多个备选项中选择的至少一个目标模型，并获取所述用户输入的待测试模型及测试样本集；

若所述用户选择的所述目标模型包括第一类模型，将所述待测试模型及所述测试样本集输入至所述第一类模型，使所述第一类模型执行步骤A，以至少输出针对所述待测试模型的用于表征模型公平性的测试指标；

若所述目标模型包括第二类模型，将所述待测试模型及所述测试样本集输入至所述第二类模型，使所述第二类模型执行步骤B，以至少输出针对所述待测试模型的用于表征模型在识别文本方面鲁棒性的测试指标；

若所述目标模型包括第三类模型，将所述待测试模型及所述测试样本集输入至所述第三类模型，使所述第三类模型执行步骤C，以至少输出针对所述待测试模型的用于表征模型在识别时序方面鲁棒性的测试指标；

其中，所述步骤A包括：

从所述测试样本集中取出多个样本对；任一样本对包括第一样本和第二样本，该第二样本为该第一样本在所述测试样本集中的最近邻样本；

将各个样本对分别输入至所述待测试模型，得到所述各个样本对各自对应的差异参数；针对任一样本对，该样本对对应的差异参数基于将该样本对中的第一样本输入至所述待测试模型得到的输出结果和将该样本对中的第二样本输入至所述待测试模型得到的输出结果之间的差异而确定；

统计所述多个样本对中差异参数大于第一预设值的样本对的第一数量，计算所述第一数量与所述多个样本对的总数量的比值，作为针对所述待测试模型的第一测试指标；并输出所述第一测试指标；以及

根据样本特征属性将所述多个样本对划分至多个群组，每个群组对应于相同的样本特征属性；

根据所述各个样本对各自对应的差异参数，统计各个群组中差异参数大于所述第一预设值的样本对的第二数量；

计算各个群组对应的第二数量与该群组中样本对的总数量的各个比值，作为针对所述待测试模型的第二测试指标；并输出所述第二测试指标；

其中，所述步骤B包括：

将从所述测试样本集中取出的多个样本中部分正确的文本数据改为错误的文本数据，得到由经过改动后的样本构成的第一新增样本集；