[发明专利]诊断模型的诊断能力的评估方法、系统、设备和存储介质

说明书

本发明实施例公开了一种诊断模型的诊断能力评估方法，包括：获取待评估诊断模型，根据待评估诊断模型选取评估样本，获取评估样本的标准诊断数据；将评估样本输入待评估诊断模型，获取评估样本的预测诊断数据；根据标准诊断数据和预测诊断数据计算待评估诊断模型的盈余准确率；判断盈余准确率是否超过预设第一阈值，若盈余准确率超过预设第一阈值，则判定待评估诊断模型的诊断能力符合预设要求。本发明还公开了诊断模型的诊断能力的评估系统、设备和存储介质。本发明能够有效提升对待评估诊断模型的诊断能力的判断的准确率。

技术领域

本发明涉及人工智能技术领域，尤其涉及诊断模型的诊断能力的评估方法、系统、设备和存储介质。

背景技术

随着医疗数据越来越多样和丰富，机器学习、深度学习等新的技术常常被用于挖掘高维信息、建立数学模型，从而帮助诊断疾病或者预测疾病的发展，以制定个性化的治疗方案。这些新的诊断模型用于临床实践工作之前，往往需要经过不同的临床研究来检验。

对于机器学习、深度学习这些技术建立的分类模型来说，最常用于比较模型的指标是诊断ACC(Accuracy，准确率)。但在临床是试验中，阳性/阴性样本的比例失衡，会导致准确率不可靠，造成误导。

发明内容

基于此，有必要针对上述问题，提出了诊断模型的诊断能力的评估方法、系统、设备和存储介质，能够有效提升对待评估诊断模型的诊断能力的判断的准确率。

一种诊断模型的诊断能力评估方法，包括：获取待评估诊断模型，根据所述待评估诊断模型选取评估样本，获取所述评估样本的标准诊断数据；将所述评估样本输入所述待评估诊断模型，获取所述评估样本的预测诊断数据；根据所述标准诊断数据和所述预测诊断数据计算所述待评估诊断模型的盈余准确率；判断所述盈余准确率是否超过预设第一阈值，若所述盈余准确率超过所述预设第一阈值，则判定所述待评估诊断模型的诊断能力符合预设要求。

一种诊断模型的诊断能力评估系统，包括：样本模块，用于获取待评估诊断模型，根据所述待评估诊断模型选取评估样本，获取所述评估样本的标准诊断数据；诊断模块，用于将所述评估样本输入所述待评估诊断模型，获取所述评估样本的预测诊断数据；计算模块，用于根据所述标准诊断数据和所述预测诊断数据计算所述待评估诊断模型的盈余准确率；判断模块，用于判断所述盈余准确率是否超过预设第一阈值，若所述盈余准确率超过所述预设第一阈值，则判定所述待评估诊断模型的诊断能力符合预设要求。

一种诊断模型的诊断能力评估设备，包括：处理器和存储器，所述处理器耦接所述存储器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序以实现如上所述的方法。

一种存储介质，存储有计算机程序，所述计算机程序能够被处理器执行以实现如上所述的方法。

采用本发明实施例，具有如下有益效果：

对待评估诊断模型进行评价时，将评估样本输入待评估诊断模型，获取预测诊断数据，根据评估样本的标准诊断数据和预测诊断数据计算待评估诊断模型的盈余准确率，根据盈余准确率判断待评估诊断模型的诊断能力，可以减少样本比例对待评估诊断模型的诊断能力的混淆，能够更客观判断模型的诊断能力，提升对待评估诊断模型判断结果的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1是本发明提供的诊断模型的诊断能力评估方法的第一实施例的流程示意图；

图2是本发明提供的诊断模型的诊断能力评估方法的第二实施例的流程示意图；