[发明专利]一种标注数据的审核方法及装置

权利要求书

1.一种标注数据的审核方法，其特征在于，包括：

获取未审核的标注数据集中的各标注数据的置信度值，所述置信度值与相应标注数据的标注的正确概率相关；

基于标注数据的置信度值辅助标注数据的人工审核过程；

所述获取未审核的标注数据集中的各标注数据的置信度值，包括：

获取设定数量的已审核标注数据的审核结果数据，基于所述审核结果数据确定所述未审核的标注数据集中的各标注数据的置信度值；

所述基于所述审核结果数据确定所述未审核的标注数据集中的各标注数据的置信度值，包括：

针对每一个待确定置信度值的标注数据，基于所述审核结果数据包括的信息确定该标注数据的置信度值；

其中，所述审核结果数据包括如下信息：所述待确定置信度值的标注数据的标注者的历史标注行为信息，和/或，所述待确定置信度值的标注数据的标注者针对所述待确定置信度值的标注数据的标注行为信息。

2.根据权利要求1所述的方法，其特征在于，所述基于标注数据的置信度值辅助标注数据的人工审核过程包括：

以可视化的形式，对应展示待审核的标注数据和待审核的标注数据对应的置信度值；

和/或，

将标注数据的人工审核结果与相应置信度值进行比较，当比较结果满足预设条件时，输出表示审核结果可能错误的提示信息。

3.根据权利要求2所述的方法，其特征在于，所述以可视化的形式，对应展示待审核的标注数据和待审核的标注数据对应的置信度值，包括：

对应展示待审核的标识数据的标识和待审核的标注数据对应的置信度；

在对应展示的待审核的标识数据的标识和待审核的标注数据对应的置信度被选中时，以可视化窗口同时展示待审核的标识数据以及所述待审核的标识数据对应的原始未标注数据供人工审核。

4.根据权利要求2所述的方法，其特征在于，所述将标注数据的人工审核结果与相应置信度值进行比较，当比较结果满足预设条件时，输出表示审核结果可能错误的提示信息，包括：

判断标注数据的人工审核结果对应的置信度值区间内是否包括所述标注数据相应的置信度值；不同的人工审核结果对应不同的置信度值区间；

当判断出人工审核结果对应的置信度值区间内不包括所述标注数据相应的置信度值时，输出表示审核结果可能错误的提示信息。

5.根据权利要求1所述的方法，其特征在于，所述获取未审核的标注数据集中的各标注数据的置信度值，包括：

从指定接口获取未审核的标注数据集中的各标注数据的置信度值。

6.根据权利要求1所述的方法，其特征在于，所述基于所述审核结果数据包括的信息确定该标注数据的置信度值，包括：

基于所述待确定置信度值的标注数据的标注者的历史标注行为信息包括的内容，计算所述待确定置信度值的标注数据的置信度值；

其中，所述历史标注行为信息包括如下内容：所述待确定置信度值的标注数据的标注者，在设定数量的已审核标注数据中标注正确的标注数据的数量以及标注错误的标注数据的数量。

7.根据权利要求6所述的方法，其特征在于，所述基于所述待确定置信度值的标注数据的标注者的历史标注行为信息包括的内容，计算所述待确定置信度值的标注数据的置信度值，包括：

通过第一公式计算所述待确定置信度的标注数据的置信度值；

所述第一公式为：

其中，所述M_j表征第j个所述待确定置信度值的标注数据的置信度值；所述A_i表征第j个所述待确定置信度值的标注数据的标注者i在所述已审核标注数据中标注正确的标注数据的数量；所述B_i表征第j个所述待确定置信度值的标注数据的标注者i在所述已审核标注数据中标注错误的标注数据的数量；所述a表征大于0的常数；所述b表征大于0的常数。