[发明专利]文本处理模型的训练方法、装置及电子设备

权利要求书

1.一种文本处理模型的训练方法，包括：

获取原语句集，其中，所述原语句集中包括多个原语句；

对每个所述原语句进行分词处理，以确定每个所述原语句中包含的各个词条；

将每个所述原语句包含的各个词条中的至少一个词条替换为同义词，以生成与所述多个原语句分别对应的多个替换语句；以及

利用所述多个原语句及对应的所述多个替换语句，对初始文本处理模型进行训练；

其中，所述利用所述多个原语句及对应的所述多个替换语句，对初始文本处理模型进行训练，包括：

利用所述初始文本处理模型对每个所述替换语句进行处理，以生成每个所述替换语句中每个分词的预测类别标签及预测替换词；

根据每个所述原语句与对应的替换语句的差异、及所述对应的替换语句中每个分词的预测类别标签及预测替换词，确定所述初始文本处理模型的损失值；以及

根据所述损失值，对所述初始文本处理模型进行修正。

2.如权利要求1所述的方法，其中，所述将每个所述原语句包含的各个词条中的至少一个词条替换为同义词，以生成与所述多个原语句对应的多个替换语句，包括：

获取每个所述原语句中每个所述词条的词性；

根据每个所述词条的词性确定每个所述原语句包含的多个候选词条；

将每个所述原语句中包含的所述多个候选词条中的至少一个词条替换为同义词，以生成与所述多个原语句对应的多个替换语句。

3.如权利要求1所述的方法，其中，所述将每个所述原语句包含的各个词条中的至少一个词条替换为同义词，包括：

根据每个所述原语句包含的词条数量，确定每个所述原语句对应的待替换词条的数量N，其中，N为正整数；

将每个所述原语句中的N个词条分别替换为对应的同义词，以生成与所述多个原语句对应的多个第一替换语句。

4.如权利要求1所述的方法，其中，所述将每个所述原语句包含的各个词条中的至少一个词条替换为同义词，包括：

获取每个所述原语句中的词条数量M，其中，M为正整数；

如果所述原语句集中的任一原语句包含的词条数量M大于阈值，则分别将所述任一原语句中的i个词条分别替换为同义词，以生成与所述任一原语句对应的第二替换语句，并将所述任一原语句中的j个词条分别替换为同义词，以生成与所述任一原语句对应的第三替换语句，其中，所述i个词条与所述j个词条不同。

5.如权利要求1所述的方法，其中，如果所述原语句集中任一原语句的任一待替换词条包括Y个同义词，则所述将每个所述原语句包含的各个词条中的至少一个词条替换为同义词，以生成与所述多个原语句分别对应的多个替换语句，包括：

将所述任一原语句中的所述任一待替换词条分别替换为所述Y个同义词中的一个，以生成与所述任一原语句对应的Y个第四替换语句。

6.如权利要求1-5任一所述的方法，其中，所述根据每个所述原语句与对应的替换语句的差异、及所述对应的替换语句中每个分词的预测类别标签及预测替换词，确定所述初始文本处理模型的损失值，包括：

根据每个所述原语句与对应的替换语句的差异，确定所述对应的替换语句中每个分词的实际类别标签及目标替换词；

根据所述每个分词的实际类别标签与所述预测类别标签的差异，确定第一损失值；

根据所述目标替换词与所述预测替换词的差异，确定第二损失值；

根据所述第一损失值及所述第二损失值，确定所述初始文本处理模型的损失值。

7.如权利要求6所述的方法，其中，所述初始文本处理模型，包括分别与特征处理层连接的标签预测层及替换词预测层，所述根据所述损失值，对所述初始文本处理模型进行修正，包括：

根据所述第一损失值，对所述初始文本处理模型的标签预测层及所述特征处理层进行修正；

根据所述第二损失值，对所述初始文本处理模型的替换词预测层及所述特征处理层进行修正。