[发明专利]诊断模型的诊断能力的评估方法、系统、设备和存储介质

权利要求书

1.一种诊断模型的诊断能力评估方法，其特征在于，包括：

获取待评估诊断模型，根据所述待评估诊断模型选取评估样本，获取所述评估样本的标准诊断数据；

将所述评估样本输入所述待评估诊断模型，获取所述评估样本的预测诊断数据；

根据所述标准诊断数据和所述预测诊断数据计算所述待评估诊断模型的盈余准确率；

判断所述盈余准确率是否超过预设第一阈值，若所述盈余准确率超过所述预设第一阈值，则判定所述待评估诊断模型的诊断能力符合预设要求。

2.根据权利要求1所述的诊断模型的诊断能力评估方法，其特征在于，所述根据所述标准诊断数据和所述预测诊断数据计算所述待评估诊断模型的盈余准确率的步骤，包括：

根据所述标准诊断数据和所述预测诊断数据计算所述待评估诊断模型的准确率和实际阳性率，根据所述准确率和所述实际阳性率计算所述待评估诊断模型的盈余准确率。

3.根据权利要求2所述的诊断模型的诊断能力评估方法，其特征在于，所述根据所述标准诊断数据和所述预测诊断数据计算所述待评估诊断模型的准确率和实际阳性率的步骤，包括：

获取所述标准诊断数据中的标准阳性数据和/或标准阴性数据；

根据所述标准阳性数据和/或所述标准阴性数据和所述预测诊断数据获取所述待评估诊断模型的真阳性数据、真阴性数据、假阳性数据、假阴性数据中的至少一个；

根据所述真阳性数据、所述真阴性数据、所述假阳性数据、所述假阴性数据中的至少一项，计算所述待评估诊断模型的准确率和实际阳性率。

4.根据权利要求3所述的诊断模型的诊断能力评估方法，其特征在于，所述计算所述待评估诊断模型的准确率和实际阳性率的步骤之后，包括：

根据所述实际阳性率获取预设第二阈值，判断所述准确率是否超过所述预设第二阈值；

若所述准确率高于所述预设第二阈值，则判定所述待评估诊断模型的诊断能力符合预设要求。

5.根据权利要求4所述的诊断模型的诊断能力评估方法，其特征在于，所述计算所述待评估诊断模型的准确率和实际阳性率的步骤之后，包括：

根据所述真阳性数据、所述真阴性数据、所述假阳性数据、所述假阴性数据中的至少一项，计算所述待评估诊断模型的阳性预测值、阴性预测值、真阳性率和特异度中的至少一个；

对所述阳性预测值、所述阴性预测值、所述真阳性率和所述特异度进行分析，根据分析的结果对所述待评估诊断模型进行分类。

6.根据权利要求5所述的诊断模型的诊断能力评估方法，其特征在于，所述根据比较的结果对所述待评估诊断模型进行分类的步骤，包括：

若所述阳性预测值、所述阴性预测值、所述真阳性率和所述特异度中的任意两个的差值小于预设差值，则判定所述待评估诊断模型能够用于疾病诊断和/或；

若所述真阳性率高于所述预设第二阈值且所述特异度低于所述预设第二阈值，则判定所述待评估诊断模型能够用于筛查疾病；和/或

若所述真阳性率低于所述预设第二阈值且是特异度低于所述预设第二阈值，则判定所述待评估诊断模型能够用于避免误诊。

7.根据权利要求5所述的诊断模型的诊断能力评估方法，其特征在于，所述根据比较的结果对所述待评估诊断模型进行分类的步骤，包括：

根据所述准确率和所述将所述阳性预测值、所述阴性预测值、所述真阳性率和所述特异度中的至少一个绘制雷达图；

根据所述雷达图的显示结果对所述待评估诊断模型进行分类。