[发明专利]一种语料标注反馈方法及装置

权利要求书

1.一种语料标注反馈方法，包括：

获取多个语料，其中，每个语料具有预先标注的标注类别；

基于所述多个语料依次进行N轮类别识别模型的训练，并根据每轮训练得到的类别识别模型，预测所述多个语料中的各个语料的类别，以得到各个语料的N个预测类别；N为正整数；

基于各个语料的标注类别和N个预测类别，确定各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数；

基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息；所述语料标注反馈信息包括所述多个语料中的标注错误的候选语料。

2.根据权利要求1所述的方法，所述基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息包括：

将预测失败的次数大于第一阈值的语料，作为所述候选语料，或者；

将预测失败的次数相对于N的占比大于第二阈值的语料，作为所述候选语料；或者，

将预测正确的次数小于第三阈值的语料，作为所述候选语料；或者，

将预测正确的次数相对于N占比小于第四阈值的语料，作为所述候选语料。

3.根据权利要求1所述的方法，所述基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息包括：

按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序；

根据排序的结果确定所述候选语料。

4.根据权利要求3所述的方法，所述方法还包括：

对于所述多个语料中的第一语料，基于所述第一语料的N个预测类别中的第一类别的置信度，计算所述第一语料对应的预测失败时的平均置信度，其中，所述第一类别为所述第一语料的N个预测类别中与所述第一语料的标注类别不一致的类别；

所述按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序包括：

基于各个语料对应的预测失败的次数，对所述多个语料进行排序；当两个或两个以上语料对应的预测失败的次数相等时，基于所述两个或两个以上语料对应的预测失败时的平均置信度，对所述两个或两个以上语料进行排序。

5.根据权利要求4所述的方法，所述方法还包括，基于所述第一语料的N个预测类别中的第二类别的置信度，计算所述第一语料对应的预测正确时的平均置信度；其中，所述第二类别为所述第一语料的N个预测类别中与所述第一语料的标注类别一致的类别；

所述按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序，进一步包括：

当两个或两个以上语料对应的预测失败的次数相等，且预测失败时的平均置信度相等时，基于所述两个或两个以上语料对应的预测正确时的平均置信度，对所述两个或两个以上语料进行排序。

6.根据权利要求3所述的方法，所述方法还包括：

对于所述多个语料中的第一语料，基于所述第一语料的N个预测类别中的第二类别的置信度，计算所述第一语料对应的预测正确时的平均置信度，其中，所述第二类别为所述第一语料的N个预测类别中与所述第一语料的标注类别一致的类别；

所述按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序包括：

基于各个语料对应的预测正确的次数，对所述多个语料进行排序；当两个或两个以上语料对应的预测正确的次数相等时，基于所述两个或两个以上语料对应的预测正确时的平均置信度，对所述两个或两个以上语料进行排序。