[发明专利]数据标注纠错方法、装置、电子设备及存储介质

权利要求书

1.一种数据标注纠错方法，其特征在于，所述方法包括：

获取待审核的标注数据集，识别所述标注数据集中每条标注数据对应的初始标注结果；

对所述标注数据集执行预设次数的标注预测，得到所述标注数据集中每条标注数据对应的预测标注结果；

计算每条所述标注数据的初始标注结果与所述标注数据的每个预测标注结果之间的混淆值，当存在满足预设错标条件的混淆值时，利用满足所述预设错标条件的的混淆值对应的预测标注结果替换相应的标注数据的初始标注结果；

当同一标注数据的所有所述混淆值均不满足所述预设错标条件时，分别计算所述每条标注数据对应的预测标注结果相较于初始标注结果之间的置信度，选择满足预设置信条件的预测标注结果作为对应标注数据的最终标注结果；

其中，所述对所述标注数据集执行预设次数的标注预测，得到所述标注数据集中每条标注数据对应的预测标注结果，包括：获取所述标注数据集中的话术信息；利用预先训练完成的标准意图识别模型对所述话术信息执行预设次数的意图识别；将所述话术信息的预设次数的意图识别结果作为所述预测标注结果；

所述计算每条所述标注数据的初始标注结果与所述标注数据的每个预测标注结果之间的混淆值，包括：采用下述混淆值计算公式计算每条所述标注数据的初始标注结果与所述标注数据的每个预测标注结果之间的混淆值healthy_score(A,B)：

其中，C(A,B)表示初始标注结果为A的标注数据的预测标注结果为B的次数，C(B,A)表示初始标注结果为B的标注数据的预测标注结果为A的次数，C(A,·)表示初始标注结果为A的标注数据被预测的总次数，C(B,·)表示初始标注结果为B的标注数据被预测的总次数；

所述分别计算所述每条标注数据对应的预测标注结果相较于初始标注结果之间的置信度，包括：采用下述置信度计算公式计算所述每条标注数据对应的预测标注结果相较于初始标注结果之间的置信度：

其中，a表示所述标注数据集中的任意一条标注数据，L表示标注数据a的初始标注结果，P表示标注数据a的预测标注结果，Confidence(a,L,P)表示标注数据a的预测标注结果P相较于初始标注结果L的置信度，为所述预测标注结果P中pre_i的期望值，n表示标注数据a被预测的次数，|P|表示标注数据a在n次预测中预测标注结果为P的平均得分，C(a,L,P)表示初始标注结果为L的标注数据a被预测为P的次数。

2.如权利要求1所述的数据标注纠错方法，其特征在于，所述利用预先训练完成的标准意图识别模型对所述话术信息执行预设次数的意图识别之前，所述方法还包括：

获取完成初始意图标注后的训练样本；

利用预设的K折交叉验证规则将训练样本拆分为K个训练样本集；

依次随机选取其中一个训练样本集作为训练集对预构建的意图识别模型执行意图预测训练，得到意图预测结果，计算所述意图预测结果与所述初始标注结果之间的损失值；

在所述损失值满足预设的损失值条件时，结束所述意图预测训练，得到待验证意图识别模型；

利用剩下的K-1个训练样本集作为验证集对所述待验证意图识别模型进行模型精度评估验证，得到模型精度评估结果；

在所述模型精度评估结果满足预设精度评估条件时，得到所述标准意图识别模型。

3.如权利要求1所述的数据标注纠错方法，其特征在于，所述识别所述标注数据集中每条标注数据对应的初始标注结果，包括：

识别每条所述标注数据中的标注标记；

提取所述标注标记对应的意图标注结果，得到所述初始标注结果。