[发明专利]一种数据处理方法、装置、服务器及存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

获取经过预处理得到的待识别语句数据；

将所述待识别语句数据输入多个预设领域的意图识别模型进行意图识别，得到所述待识别语句数据具有每个所述预设领域的意图的概率；

确定所述预设领域的可出阈值和召回阈值，包括：

获取所述预设领域的正例语料数据和反例语料数据；

将所述正例语料数据和所述反例语料数据输入预设意图训练模型进行意图训练；

在训练过程中调整所述预设意图训练模型中的阈值，记录每一阈值所对应的准确率和召回率数据；

基于所述每一阈值所对应的准确率和召回率数据确定准确率大于第一阈值，且准确率和召回率的调和平均最大的阈值；

将所述准确率大于第一阈值，且准确率和召回率的调和平均最大的阈值作为所述预设领域的可出阈值；

基于所述每一阈值所对应的准确率和召回率数据确定准确率大于第二阈值，且召回率最大的阈值；

将所述准确率大于第二阈值，且召回率最大的阈值作为所述预设领域的召回阈值；其中，所述第一阈值大于所述第二阈值，所述可出阈值大于所述召回阈值，所述召回阈值为非所述预设领域的数据被召回的下限值，所述可出阈值为所述预设领域的数据被召回的上限值；

当所述待识别语句数据具有所述预设领域的意图的概率大于等于所述预设领域的召回阈值且小于所述预设领域的可出阈值，将所述待识别语句数据作为所述预设领域的待标注语句数据；

当所述待识别语句数据具有所述预设领域的意图的概率大于等于所述预设领域的可出阈值，将所述待识别语句数据确定为所述预设领域的数据；

当所述待识别语句数据具有所述预设领域的意图的概率小于所述预设领域的召回阈值时，将所述待识别语句数据确定为非所述预设领域的数据；

确定所述待标注语句数据的领域信息；

对所述待标注语句数据进行所述领域信息所对应领域的意图识别处理，得到所述待标注语句数据在所述所对应领域的意图信息。

2.根据权利要求1所述的方法，其特征在于，所述预设领域的意图识别模型包括采用下述方式确定：

获取所述预设领域的语料数据；

基于预设机器学习算法对所述预设领域的语料数据进行意图识别训练，得到所述预设领域的意图识别模型。

3.根据权利要求1至2任一所述的方法，其特征在于，所述方法还包括：

所述准确率与真正例语料数据的数量以及假正例语料数据的数量满足以下关系：

P＝TP/(TP+FP)，

所述召回率与真正例语料数据的数量以及假反例语料数据的数量满足以下关系：

R＝TP/(TP+FN)；

其中，P为准确率，R为召回率，TP为真正例语料数据的数量，FP为假正例语料数据的数量，FN为假反例语料数据的数量；

所述真正例语料数据的数量为所述正例语料数据在所述训练过程中被识别为正例语料数据的数量；所述假正例语料数据的数量为所述反例语料数据在所述训练过程中被识别为正例语料数据的数量，所述假反例语料数据的数量为正例语料数据在所述训练过程中被识别为反例语料数据的数量。