[发明专利]一种人工智能模型预测结果的复审方法及装置

说明书

本发明公开了一种人工智能模型预测结果的复审方法及装置，该复审方法包括：获取人工智能模型的预测结果及预测结果对应的预测类别及置信度；根据预测类别及置信度确定复审顺序及复审范围；基于预设的优化条件、复审顺序及复审范围对预测结果进行复审，得到复审结果。通过实施本发明，针对人工智能模型的预测结果进行复审，避免了人工复审的过程，能有效规避基于预设方案进行样本人工复审的缺点，复审结果更加准确。

技术领域

本发明涉及设备检测技术领域，具体涉及一种人工智能模型预测结果的复审方法及装置。

背景技术

目前，人工智能模型在多个行业内得到应用。例如，输电巡检领域，无人机对输电杆塔等设备进行拍摄，基于目标检测模型筛查出拍摄照片中可能存在的问题；安防领域，基于人脸检测和人脸比对模型，找到可能的在逃犯罪嫌疑人；互联网领域，基于文本分类模型，找到涉黄、涉政、涉暴的用户言论等；工业领域，基于图片目标检测模型，找到有缺陷的产品。然而，由于人工智能模型并非完全准确，在应用人工智能模型找到潜在问题后，往往需要进行人工复审或人工复查，因此需要对哪些样本进行复查做出决策。目前的通用方法为：基于验证集对模型在不同置信度条件下的误检和漏检率进行估计，并结合实际需求设置人工复审/人工复查的置信度阈值。

但是，在模型预测、人工复审的系统实际应用时，由于样本采集方式、样本来源、样本特征等与训练集存在差异，模型预测结果在不同置信度水平上的误检率与漏检率与基于验证集估计的值存在偏差，因此基于事先设置的置信度阈值进行的人工复审方案会造成人力的浪费：一方面，人工复审的样本数量可能会超出/低于预计，导致复审成本超出预计或问题检出数量偏低；另一方面，对于多类别的预测结果，人工复审的工作量可能会集中于少数几个频繁误报的类别，并因复审资源错配导致复审找出的问题样本或过滤掉的误报样本数量偏低。

发明内容

有鉴于此，本发明实施例提供了一种人工智能模型预测结果的复审方法及装置，以解决现有技术中，人工复检的方式对人工智能模型的预测结果进行复审存在的复检数量低、复检准确率低等问题。

本发明实施例提供了一种人工智能模型预测结果的复审方法，所述复审方法包括：获取人工智能模型的预测结果及所述预测结果对应的预测类别及置信度；根据所述预测类别及置信度确定复审顺序及复审范围；基于预设的优化条件、所述复审顺序及复审范围对所述预测结果进行复审，得到复审结果。

可选地，所述复审方法还包括：根据所述复审结果对所述预测结果的复审顺序和/或复审范围进行调整。

可选地，所述根据所述复审结果对所述预测结果的复审顺序和/或复审范围进行调整，包括：根据所述复审结果，确定已完成复审的预测结果样本；计算所述已完成复审的预测结果样本中，在预设范围内预测正确、错误的样本数量及对应的占比；所述预设范围包括：预设置信度区间、预设预测类别的结果、所述预测结果样本所标注的类别中的至少之一。

可选地，所述预设的优化条件包括以下三项中的至少之一：总体复审量确定的情况下，问题样本的检出数量达到最大；问题样本的检出数量确定时，总体复审数量达到最小；总体复审量确定的情况下，通过复审确定的人工智能模型的误报数量达到最大。

可选地，所述基于预设的优化条件及所述复审顺序对所述预测结果进行复审，包括：基于所述人工智能模型的预测置信度，从高到低进行复审，或，从预设阈值开始，从低到高进行复审；当复审数量达到预设数量时，或检出的问题数量达到给预设问题数量时，终止复审。

可选地，所述基于预设的优化条件及所述复审顺序对所述预测结果进行复审，包括：基于贝叶斯方法，使用验证集数据设定所述人工智能模型在各类别不同置信度精确率的先验分布；基于多臂老虎机方法，确定所述复审顺序，并在复审过程中计算模型精确率的后验分布；基于所述优化条件，确定复审的终止条件，所述终止条件包括：当复审数量达到预设数量时，或检出的问题数量达到给预设问题数量时，终止复审；基于所述先验分布、后验分布及终止条件对上述预测结果进行复审。