[发明专利]模型训练方法、客服系统及数据标注系统、可读存储介质

权利要求书

1.一种基于分歧的模型训练方法，其特征在于，所述基于分歧的模型训练方法应用于客服系统，所述方法包括以下步骤：

获取用户的通信对话信息，基于对话歧义判断模型判断所述通信对话信息是否进行歧义消解；

根据判断结果，对所述通信对话信息作出相应的应答；

所述对话歧义判断模型的训练步骤包括：

S10，将同一标注数据集作为不同分类模型的训练数据集；

S20，基于所述训练数据集，对不同分类模型进行训练；

S30，基于训练后得到的分类模型，对未标注数据集中的预测样本进行预测，得到预测结果；

S40，获取所述预测结果的置信度，并根据预测结果的置信度将预测样本标记为高置信度预测样本或者低置信度预测样本；

S50，将在各分类模型中均被标记为高置信度预测样本的预测样本添加到其它分类模型的训练数据集；

以及，基于新的训练数据集，进行预设轮次的步骤S20至S50的迭代训练，并得到多次迭代训练后的分类模型，将多次迭代训练后的分类模型作为所述对话歧义判断模型；

其中，不同分类模型相互提供高置信度的预测样本作为其它分类模型的训练样本，当分类模型的数量为两个时，所述根据预测样本的置信度将预测样本分类为高置信度预测样本的步骤之后，还包括：

判断所述预测样本是否在各分类模型中均被标记为所述高置信度预测样本；

若是，则获取所述预测样本的分类信息；其中，预测样本的所述分类信息分别与不同分类模型对应；

判断所述预测样本基于不同分类模型得到的分类信息是否一致；

若一致，则判定所述预测样本为高置信度预测一致样本，并执行S50；

若不一致，则判定所述预测样本为高置信度预测相悖样本，并对所述预测样本进行人工标注，并将人工标注后的所述预测样本添加到其它分类模型的训练数据集，以继续执行下一轮的迭代训练；

步骤S40之后，还包括：

若所述预测样本在两个分类模型中分别被标记为高置信度预测样本和低置信度预测样本，则将所述预测样本作为未标注数据，以进入下一轮的模型预测。

2.如权利要求1所述的基于分歧的模型训练方法，其特征在于，当分类模型的数量大于两个时，所述根据预测样本的置信度将预测样本分类为高置信度预测样本的步骤之后，还包括：

判断所述预测样本是否在各分类模型中均被标记为所述高置信度预测样本；

若是，则获取各分类模型对所述预测样本的投票结果；其中，所述预测样本的投票结果分别与不同分类模型对应；

判断所述预测样本的投票结果是否符合预设规则；

若符合，则执行步骤S50。

3.如权利要求1至2任一所述的基于分歧的模型训练方法，其特征在于，所述根据预测样本的置信度将预测样本分类为低置信度预测样本的步骤之后，还包括：

判断所述预测样本是否在各分类模型中均被标记为所述低置信度预测样本；

若是，则对所述预测样本进行人工标注，并将人工标注后的所述预测样本添加到其它分类模型的所述训练数据集，以继续执行下一轮的迭代训练。

4.如权利要求1所述的基于分歧的模型训练方法，其特征在于，将所述预测样本添加到其它分类模型的所述训练数据集的步骤之后，还包括：

在所述未标注数据集中剔除已添加到其它分类模型的训练数据集中的预测样本，并更新所述未标注数据集。

5.如权利要求1所述的基于分歧的模型训练方法，其特征在于，所述高置信度预测样本的置信度大于或者等于第一置信度阈值；所述低置信度预测样本的置信度小于或者等于第二置信度阈值；

其中，所述第二置信度阈值小于或者等于所述第一置信度阈值；

不同分类模型分别对应一组第一置信度阈值及第二置信度阈值。