[发明专利]估计模型的准确性和鲁棒性的方法及其装置

说明书

本公开涉及估计模型的准确性和鲁棒性的方法及其装置。根据本公开内容的一个实施例，该方法包括以下步骤：计算表征第一数据集中的样本在第二数据集中出现的可能性的参数；计算模型的针对第一数据集中的样本的准确性得分；以参数为权重基于准确性得分计算模型的针对第一数据集中样本的加权准确性得分；以及根据加权准确性得分计算模型的针对第一数据集的经调整的准确性作为模型的针对第二数据集的估计准确性。本公开内容的方法、装置至少能有助于实现如下效果之一：方便、准确、有效地估计模型的准确性和鲁棒性。

技术领域

本公开内容涉及用于人工智能的模型的评估，尤其涉及估计模型的准确性和鲁棒性的方法及其装置。

背景技术

随着深度学习技术的发展，人工智能(AI)模型被广泛地应用于诸如自动驾驶、人脸识别、手写字符识别、健康管理等的各种场景。当在实际场景中应用AI模型(在本公开内容中，也简称为“模型”)时，模型的质量是重要的。

模型的质量的表征参数包括模型的准确性。模型的准确性例如被定义为：针对对象数据集，模型输出结果中正确的输出结果数量与总输出结果数量的比值。

图1示出了一种常规的确定模型的准确性的示例性方法10的流程图。在步骤S101中，使用从源数据集中选择的训练集对模型进行训练。在步骤S103中，使用从源数据集中选择的测试集对模型进行测试。在步骤S105中，根据测试结果确定模型的准确性，其中，此处的模型是指训练后的模型，测试集中的样本已被分配标签，从而能够确定模型输出的测试结果相对于标签是否正确。优选，测试集中的数据是训练集中没有出现过的数据。源数据集中还可以包括验证集，其用于选择准确性最好的模型。

发明内容

在下文中将给出关于本公开内容的简要概述，以便提供关于本公开内容的某些方面的基本理解。应当理解，此概述并不是关于本公开内容的穷举性概述。它并不是意图确定本公开内容的关键或重要部分，也不是意图限定本公开内容的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

发明人对于模型的准确性有以下构思。从图1的描述可知，严格来讲，上述模型的准确性实际是针对特定源数据集而言的。对于已经使用源数据集的数据训练后的模型，通常其会用于对待分析的目标数据集进行处理，例如输出目标数据集中的样本的分类结果。在实际应用场景中，源数据集与目标数据集通常存在数据偏差。这可以导致模型的针对源数据集的准确性和模型的针对目标数据集的准确性不同，通常，准确性会下降，例如，前一准确性为95％，后一准确性为80％。因此，以下是期望的：在使用模型对待分析的目标数据集进行处理前，估计各模型的针对目标数据集的准确性，以选择具有高准确性的模型。但是，由于目标数据集是待分析的对象，其并没有被打标签，因此直接确定模型的针对目标数据集的准确性是困难的，具有挑战性。

发明人经过研究，发现可以基于概率密度比使用源数据集来估计模型的针对目标数据集的准确性。相应的可以基于该准确性评估模型的鲁棒性。本公开内容中模型的鲁棒性是指模型的针对数据偏差的鲁棒性，即，模型的泛化能力。

根据本公开内容的一个方面，提供了一种估计使用第一数据集训练的用于分类的模型的针对第二数据集的估计准确性的方法，其特征在于，方法包括：计算表征第一数据集中的样本在第二数据集中出现的可能性的参数；计算模型的针对第一数据集中的样本的准确性得分；以参数为权重基于准确性得分计算模型的针对第一数据集中样本的加权准确性得分；以及根据加权准确性得分计算模型的针对第一数据集的经调整的准确性作为模型的针对第二数据集的估计准确性。