[发明专利]神经网络模型预测置信度校准方法、系统及存储介质在审
申请号: | 202011242401.X | 申请日: | 2020-11-09 |
公开(公告)号: | CN112183751A | 公开(公告)日: | 2021-01-05 |
发明(设计)人: | 王新琪;于丹;来关军;李雪 | 申请(专利权)人: | 大连东软教育科技集团有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04 |
代理公司: | 大连东方专利代理有限责任公司 21212 | 代理人: | 姜玉蓉;李洪福 |
地址: | 116000 辽宁省大*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 模型 预测 置信 校准 方法 系统 存储 介质 | ||
1.一种神经网络模型预测置信度校准方法,其特征在于包括:
采集含类别标签的样本数据并对其进行数据清洗和归一化处理获得收集数据;
训练神经网络模型并将其保存;
读取待测数据以及收集数据并分别输入至完成训练的神经网络模型中,从神经网络模型隐含层中获取待测特征嵌入向量和收集特征嵌入向量;
根据收集特征嵌入向量得到各类别投影簇,对混叠的收集样本进行过滤处理,计算各投影簇的密度自适应因子以及测试样本属于各类别投影簇的局部距离,采用密度自适应因子修正局部距离并归一化到预设区间内获得该测试样本与各类别收集样本的分布一致性得分,基于分布一致性得分和神经网络模型的原始预测概率获得校准后的神经网络的模型预测置信度。
2.根据权利要求1所述的方法,其特征还在于:对混叠的收集样本进行过滤时:根据K邻近算法理论查询收集样本最近k个邻居样本的类别获得每个样本邻域的混叠程度q,设置过滤阈值,将小于过滤阈值的混叠程度q对应的收集样本过滤从而保留大于过滤阈值对应的收集样本。
3.根据权利要求1所述的方法,其特征还在于:计算测试样本与各投影簇的局部距离时:设定一个类别个数为C的多分类问题,计算测试样本xtest与第c类别投影簇中最近的k个样本的平均距离,记为dc(xtest),其中c=0,1,2,...,C-1
4.根据权利要求3所述的方法,其特征还在于:计算分布一致性得分时:采用密度平衡因子平衡不同类别簇的分布密度,将C类已收集样本点之间的平均距离估计作为C类的密度自适应因子γc:
采用类别密度自适应因子γc对平均距离dc(xtest)进行修正从而得到分布一致性得分d′c(xtest):
对分布一致性得分进行归一化,使得分布一致性得分计算结果的值域分布在预设的[0,1]区间内,从而得到测试样本属于第c类别的分布一致性得分Consis(xtest,c)。
5.根据权利要求4所述的方法,其特征还在于:基于测试样本属于第c类别的分布一致性得分Consis(xtest,c)、采用加权求和的方式综合该一致性得分Consis(xtest,c)和模型原始预测概率Pmodel(c|xtest)两部分参数、从而输出校准后的神经网络的模型预测置信度P(c|xtest):
P(c|xtest)=α×Consis(xtest,c)+(1-α)×Pmodel(c|xtest) (7)
其中α是最终预测概率计算中分布一致性得分的权重参数,0≤α≤1。
6.一种神经网络模型预测置信度校准系统,其特征在于,所述系统包括:
采集单元,用于采集含类别标签的样本数据并对其进行数据清洗和归一化处理获得收集数据;
训练单元,将收集数据输入至神经网络模型进行训练并将完成训练的神经网络模型保存;
信息调取单元,读取待测数据并接收采集单元传送的收集数据、同时读取训练单元传送的神经网络模型,将收集数据和待测数据输入至完成训练的神经网络模型中,从神经网络模型隐含层中获取对应特征嵌入向量;
置信度获取单元,接收所述信息调取单元传送的收集特征嵌入向量信息从而获得各类别投影簇,所述置信度获取单元计算各投影簇的密度自适应因子以及待测特征向量与各类别投影簇的局部距离,采用密度自适应因子修正局部距离并归一化到预设区间内获得该测试样本与各类别的分布一致性得分,再基于分布一致性得分和神经网络模型的原始预测概率获得校准后的神经网络的模型预测置信度。
7.一种计算机可读存储介质,所述计算机可读存储介质中存储有包括计算机程序,其中,所述计算机程序运行时,执行所述权利要求1-5任一项所述的神经网络模型预测置信度校准方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于大连东软教育科技集团有限公司,未经大连东软教育科技集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011242401.X/1.html,转载请声明来源钻瓜专利网。