[发明专利]一种人工智能模型预测结果的复审方法及装置

权利要求书

1.一种人工智能模型预测结果的复审方法，其特征在于，所述复审方法包括：

获取人工智能模型的预测结果及所述预测结果对应的预测类别及置信度；

根据所述预测类别及置信度确定复审顺序及复审范围；

基于预设的优化条件、所述复审顺序及复审范围对所述预测结果进行复审，得到复审结果。

2.根据权利要求1所述的人工智能模型预测结果的复审方法，其特征在于，所述复审方法还包括：

根据所述复审结果对所述预测结果的复审顺序和/或复审范围进行调整。

3.根据权利要求2所述的人工智能模型预测结果的复审方法，其特征在于，所述根据所述复审结果对所述预测结果的复审顺序和/或复审范围进行调整，包括：

根据所述复审结果，确定已完成复审的预测结果样本；

计算所述已完成复审的预测结果样本中，在预设范围内预测正确、错误的样本数量及对应的占比；所述预设范围包括：预设置信度区间、预设预测类别的结果、所述预测结果样本所标注的类别中的至少之一。

4.根据权利要求1所述的人工智能模型预测结果的复审方法，其特征在于，所述预设的优化条件包括以下三项中的至少之一：

总体复审量确定的情况下，问题样本的检出数量达到最大；

问题样本的检出数量确定时，总体复审数量达到最小；

总体复审量确定的情况下，通过复审确定的人工智能模型的误报数量达到最大。

5.根据权利要求1或4所述的人工智能模型预测结果的复审方法，其特征在于，所述基于预设的优化条件及所述复审顺序对所述预测结果进行复审，包括：

基于所述人工智能模型的预测置信度，从高到低进行复审，或，从预设阈值开始，从低到高进行复审；

当复审数量达到预设数量时，或检出的问题数量达到预设问题数量时，终止复审。

6.根据权利要求1或4所述的人工智能模型预测结果的复审方法，其特征在于，所述基于预设的优化条件及所述复审顺序对所述预测结果进行复审，包括：

基于贝叶斯方法，使用验证集数据设定所述人工智能模型在各类别不同置信度精确率的先验分布；

基于多臂老虎机方法，确定所述复审顺序，并在复审过程中计算模型精确率的后验分布；

基于所述优化条件，确定复审的终止条件，所述终止条件包括：当复审数量达到预设数量时，或检出的问题数量达到给预设问题数量时，终止复审；

基于所述先验分布、后验分布及终止条件对上述预测结果进行复审。

7.根据权利要求1或4所述的人工智能模型预测结果的复审方法，其特征在于，所述基于预设的优化条件及所述复审顺序对所述预测结果进行复审，包括：

选取所述预测类别中未复审的置信度最高的预测结果样本进行复审。

8.根据权利要求1所述的人工智能模型预测结果的复审方法，其特征在于，所述复审方法还包括：

对于处于所述复审范围之外的预测结果样本，将置信度比人工复审样本置信度低的预测结果样本判定为无问题；将置信度比人工复审样本置信度高的预测结果样本视为有问题。

9.一种人工智能模型预测结果的复审装置，其特征在于，所述复审装置包括：

预测结果获取模块，用于获取人工智能模型的预测结果及所述预测结果对应的预测类别及置信度；

复审顺序及范围确定模块，用于根据所述预测类别及置信度确定复审顺序及复审范围；

复审模块，用于基于预设的优化条件、所述复审顺序及复审范围对所述预测结果进行复审，得到复审结果。

10.一种计算机设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1-8中任一项所述的人工智能模型预测结果的复审方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1-8中任一项所述的人工智能模型预测结果的复审方法。