[发明专利]神经网络模型预测置信度校准方法、系统及存储介质

说明书

本发明公开了一种神经网络模型预测置信度校准方法、系统及存储介质，包括：采集含类别标签的样本数据并对其进行数据清洗和归一化处理；训练神经网络模型并将其保存；将样本数据划分为收集数据和待测数据、并分别输入至完成训练的神经网络模型中，从神经网络模型隐含层中获取对应特征嵌入向量；计算各投影簇的密度自适应因子以及测试样本属于各类别投影簇的局部距离，采用密度自适应因子修正局部距离并归一化到预设区间内获得该测试样本与各类别的分布一致性得分，基于分布一致性得分和神经网络模型的原始预测概率获得校准后的神经网络的模型预测置信度。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种神经网络模型预测置信度校准方法、系统及存储介质。

背景技术

伴随着计算机及电子技术发展，企业和工业界逐渐积累了大量数据，使得数据驱动的机器学习技术落地到实际场景中。在机器学习建模时，通常假设收集数据与实际数据同分布，因此利用收集的数据建立神经网络模型，对新的测试数据进行预测。但是在实际生产场景中，特别是在一些高风险领域，如设备故障检测、医疗诊断、自动驾驶等领域，往往会遇到与收集数据分布不一致的测试数据，称之为分布外样本，分布外样本主要来源于两种情况：人为操作不当引入了测量误差、以及应用设备之间存在参数差异，导致了异常数据的产生或数据域漂移(domain drift)；收集样本多样性不足，即用于模型训练所收集到的数据样本分布不能代表真实世界的样本空间。模型预测置信度反映的是模型预测结果正确的可能性，用于评判模型本身的结果是否可靠。如果用模型预测分布外样本，容易预测错误且预测置信度过高(模型预测过度自信)。此时预测置信度无法准确地衡量模型预测结果的可靠性，因此难以对系统提供可靠的决策依据。因此，需要一种预测置信度校准方法，使预测置信度能准确地反映模型预测结果的可靠程度。当模型遇到上述分布外数据时，应适当降低其置信度，以表示此时的预测结果具有低可靠性。于是，可利用预测置信度对预测结果进行风险评估，当预测风险高于预设阈值时，可转由行业专家综合模型预测结果及自身经验知识，进行最终决策，避免由神经网络模型决策失误导致危险事故发生。

现有置信度计算方法主要有：1)基于模型后验概率的置信度估计技术。概率分类模型可输出样本属于各类别的概率，即后验概率，依据后验概率来进行分类预测。例如神经网络模型的预测置信度通常使用Soft-max层输出概率。然而，研究人员实验证明了神经网络模型在对分布外的样本预测时，往往会预测错误并给予高达99％的预测概率。2)多模型预测置信度集成技术。此类技术采用多个分类器分别进行预测，将每个分类器预测概率融合作为集成后的置信度，根据融合后的置信度最终分类结果。3)基于样本点距离度量的模型置信度计算技术。此类技术通过计算待测样本与其周围训练样本之间的距离，继而估计待测样本属于各类别的可能性作为预测置信度。但是，现有技术尚未考虑对各类别簇间样本点分布密度的差异性，因此，对于疾病诊断、故障检测等应用中常见的类别分布不均衡问题，此类技术仍需要进一步改进。

发明内容

根据现有技术存在的问题，本发明公开了一种神经网络模型预测置信度校准方法，具体包括如下步骤：

采集含类别标签的样本数据并对其进行数据清洗和归一化处理获得收集数据；

训练神经网络模型并将其保存；

读取待测数据以及收集数据并分别输入至完成训练的神经网络模型中，从神经网络模型隐含层中获取待测特征嵌入向量和收集特征嵌入向量；

根据收集特征嵌入向量得到各类别投影簇，对混叠的收集样本进行过滤处理，计算各投影簇的密度自适应因子以及测试样本属于各类别投影簇的局部距离，采用密度自适应因子修正局部距离并归一化到预设区间内获得该测试样本与各类别收集样本的分布一致性得分，基于分布一致性得分和神经网络模型的原始预测概率获得校准后的神经网络的模型预测置信度。

进一步的，根据K邻近算法理论查询收集样本最近k个邻居样本的类别获得每个样本邻域的混叠程度q，设置过滤阈值，将小于过滤阈值的混叠程度q对应的收集样本过滤从而保留大于过滤阈值对应的收集样本。