[发明专利]确定预测的可靠性度量的方法、设备和存储介质

说明书

本公开的实施例涉及用于确定预测的可靠性度量的方法、设备和存储介质。该方法包括：获取与针对目标预测结果的多个置信度取值区间相对应的准确度，多个置信度取值区间是基于与目标预测结果相关联的置信度集而被确定，置信度集是基于将预定的参考样本集应用于一个或多个预测模型中的预测模型获得的；获取目标预测结果相关联的目标置信度，目标置信度是基于将目标数据应用于一个或多个预测模型中的预测模型获得的；获取与目标置信度所在的置信度取值区间相对应的准确度；以及基于准确度确定针对目标预测结果的可靠性度量。基于这样的方式，可以确定更为准确的可靠性度量。

技术领域

本公开的实施例涉及计算机领域，并且更具体地，涉及确定预测的可靠性度量的方法、设备和存储介质。

背景技术

随着计算机技术的发展，诸如深度神经网络等预测模型越来越多地被应用于图像识别、语音识别和目标检测等任务中。在利用模型进行预测的过程中，预测模型还可以为所生成的预测标签确定对应的置信度。然而，不同的模型的置信度生成机制不同，预测模型所生成的置信度的值难以准确地反映预测模型对于预测标签的可靠性。因而，如何准确地反映预测模型对于预测标签的可靠性成为当前的一个关注焦点。

发明内容

本公开的实施例提供一种用于确定预测的可靠性度量的方案。

根据本公开的第一方面，提出了一种用于确定预测的可靠性度量的方法。该方法包括：获取与针对目标预测结果的多个置信度取值区间相对应的准确度，多个置信度取值区间是基于与目标预测结果相关联的置信度集而被确定，置信度集是基于将预定的参考样本集应用于一个或多个预测模型中的预测模型获得的；获取目标预测结果相关联的目标置信度，目标置信度是基于将目标数据应用于一个或多个预测模型中的预测模型获得的；获取与目标置信度所在的置信度取值区间相对应的准确度；以及基于准确度确定针对目标预测结果的可靠性度量。

根据本公开的第二方面，提出了一种用于确定预测的可靠性度量的设备。该设备包括：至少一个处理单元；至少一个存储器，该至少一个存储器被耦合到该至少一个处理单元并且存储用于由该至少一个处理单元执行的指令，该指令当由该至少一个处理单元执行时，使得该设备执行动作，该动作包括：获取与针对目标预测结果的多个置信度取值区间相对应的准确度，多个置信度取值区间是基于与目标预测结果相关联的置信度集而被确定，置信度集是基于将预定的参考样本集应用于一个或多个预测模型中的预测模型获得的；获取目标预测结果相关联的目标置信度，目标置信度是基于将目标数据应用于一个或多个预测模型中的预测模型获得的；获取与目标置信度所在的置信度取值区间相对应的准确度；以及基于准确度确定针对目标预测结果的可靠性度量。

在本公开的第三方面，提供了一种计算机可读存储介质。该计算机可读存储介质具有存储在其上的计算机可读程序指令，所述计算机可读程序指令用于执行根据第一方面所描述的方法。

提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。

图1图示了本公开实施例可以在其中执行的环境的示意图；

图2图示了根据本公开实施例的确定预测的可靠性度量的过程的流程图；

图3图示了根据本公开实施例的确定与置信度取值区间对应的准确度的过程的流程图；

图4图示了根据本公开实施例的示例置信度区间分布的示意图；以及

图5图示了可以用来实施本公开内容的实施例的示例设备的示意性框图。

具体实施方式