[发明专利]分类模型校准

说明书

分类模型校准。描述了一种对训练分类模型进行校准的计算机实现的方法。训练分类模型被训练成根据多个类对输入样本进行分类并提供相关联的预测概率，并且包括多个隐藏层和至少一个激活层。该方法包括访问训练分类模型和访问多个验证样本，每个验证样本具有基础真值标签，基础真值标签指示基础真值类。该方法进一步包括将训练分类模型应用于多个验证样本，对于每个验证样本，从在最后激活层之前的训练分类模型的层获得输出对数几率向量，以及训练校准模块。校准模块被训练来调整预测概率，预测概率从输出对数几率向量导出。校准模块包括微调子模块和分级子模块中的至少一个。该方法包括将训练校准模块附加到训练分类模型，以获得校准的分类模型。

技术领域

本发明涉及用于对训练分类模型进行校准的方法、用于对训练分类模型进行校准的系统、用于对输入图像进行分类的方法、用于对输入图像进行分类的系统以及计算机可读介质。

背景技术

机器学习（“训练的”）模型广泛使用在诸如自主驾驶、机器人、制造、建筑控制等之类的许多现实生活应用领域中。例如，诸如神经网络的机器可学习模型可以被训练来基于由一个或多个传感器获取的传感器数据推断诸如自主车辆或机器人等物理系统的状态，或者例如车辆正在其上行驶的道路、机器人的工作空间等的系统的环境。推断出状态后，物理系统可以例如使用一个或多个致动器而被控制，或者可以监视其操作。

通常，如在机器学习中已知的，可以在训练数据上训练诸如神经网络的机器可学习模型，以便提供诸如预测或决策之类的输出。决策的示例是分类。通过训练模型，模型可以提供此类预测或决策，而无需被明确地编程来这样做。例如，为了对图像进行分类，可以在训练数据集上训练模型，该训练数据集包括模型已知其分类的图像。因此，训练的模型可以被训练以确定输入——诸如输入图像或输入声音或文本——的分类。例如，模型可以被训练为多类分类器，通过该多类分类器，图像可以被分类成例如“猫”、“狗”或“树”。另一个示例是训练的模型可以被训练成二进制分类器（例如，将输入图像分类成仅两个互补类别“正常（OK）”或“不正常（NOK）”之一）。

一般而言，此类模型可以包括深度神经网络（DNN），该深度神经网络（DNN）被定义为在输入层和输出层之间具有多层。

通过机器学习模型（诸如训练的神经网络）进行的分类可以使用在无数的应用中，诸如制造过程中的光学质量检查或自主车辆中的危险检测。

近年来，机器学习模型已经被广泛和成功地用于分类任务。这些机器学习模型——也称为分类器或分类器模型——可以被配置为对图像、声音（例如，语音）和许多其他形式的信息进行分类。典型地，对分类器模型进行训练包括提供多个训练样本，所述多个训练样本包括提供的基础真值分类。例如，训练样本可能是猫的图片，并且基础真值分类将作为“猫”提供。该模型使用大量此类训练样本来训练多个模型参数。然而，要训练的模型参数的数量通常远远数目超过训练样本的数量，这导致过度拟合到负对数似然（NLL）损失。该过度拟合导致过度自信的预测，其输出的预测具有不代表其真实分类能力的高置信度。换言之，模型看起来比它实际训练得好。不能依赖于过度自信的预测，因为它们不拒绝有风险的预测，这意味着分类模型不能可靠地使用在诸如传感器融合之类的应用中，在所述应用中，当从其进行融合预测时，不同传感器的重要性被加权。因此，预测置信度校准的主题是相当大量研究工作的焦点。

训练分类模型的完美校准意味着某些重复性事件的真实标签分布与模型做出的预测分布相匹配。校准关注于模型在一系列预测、而不是任何单个预测之内的性能。例如，以概率为80%预测“狗”的校准良好的分类器在80%的情况下应该是正确的。这通常通过如下来评估：应用多个验证和/或测试样本——所述多个验证和/或测试样本中的基础真值分类是已知的，确定特定类（例如，“狗”、“树”等）的概率，以及确定该模型是否正确地预测了具有对应频率的类。为此，应该存在足够数量的验证样本，使得模型输出相同的预测分布，使得可以借助于在有限样本集合之上的频率估计来很好地近似基础真值标签分布。对于输出连续预测分布的模型，基于样本的校准评估需要分级（binning）来量化输出。