[发明专利]文本处理方法及装置

权利要求书

1.一种文本处理方法，包括：

获取待处理文本，以及执行目标任务的第一任务模型；

将所述待处理文本输入所述第一任务模型，获得对所述待处理文本执行所述目标任务的任务处理结果，其中，所述第一任务模型为利用有标签文本和无标签文本对初始任务模型进行半监督学习得到，所述无标签文本包括第二任务模型输出的、与所述目标任务相关的无标签文本，所述第二任务模型和所述第一任务模型执行不同任务。

2.根据权利要求1所述的方法，所述初始任务模型包括第一子模型和第二子模型；

在所述将所述待处理文本输入所述第一任务模型，获得对所述待处理文本执行所述目标任务的任务处理结果之前，还包括：

获取有标签样本集和无标签样本集，其中，所述有标签样本集包括多个有标签文本，所述无标签样本集包括多个无标签文本；

将所述无标签样本集中的无标签文本输入所述第一子模型，生成第一伪标签样本集，其中，所述第一伪标签样本集包括所述多个无标签文本分别对应的伪标签文本；

基于所述有标签样本集和所述第一伪标签样本集，对所述第一子模型和所述第二子模型进行训练，获得训练后的第一任务模型。

3.根据权利要求2所述的方法，所述基于所述有标签样本集和所述第一伪标签样本集，对所述第一子模型和所述第二子模型进行训练，获得训练后的第一任务模型，包括：

从所述有标签样本集中提取第一有标签文本，其中，所述第一有标签文本为所述多个有标签文本中的任一个；

将所述第一有标签文本输入所述第二子模型，得到第一预测结果；

基于所述第一预测结果，计算第一损失值；

从所述第一伪标签样本集中提取第一伪标签文本，其中，所述第一伪标签文本为多个伪标签文本中的任一个；

将所述第一伪标签文本输入所述第二子模型，通过所述第二子模型的自学习，获得第二损失值；

基于所述第一损失值和所述第二损失值，调整所述第二子模型的模型参数，以及调整所述第一子模型的模型参数，并返回执行所述从所述有标签样本集中提取第一有标签文本的步骤，直至达到预设训练停止条件，获得训练后的第一任务模型。

4.根据权利要求3所述的方法，在所述从所述有标签样本集中提取第一有标签文本之后，还包括：

将所述第一有标签文本输入所述第一子模型，得到第二预测结果；

基于所述第二预测结果，计算第三损失值；

所述调整所述第一子模型的模型参数，包括：

根据所述第一损失值和所述第三损失值之间的目标差值，调整所述第一子模型的模型参数，并返回执行所述将所述无标签样本集中的无标签文本输入所述第一子模型，生成第一伪标签样本集的步骤。

5.根据权利要求2所述的方法，在所述获取有标签样本集和无标签样本集之后，还包括：

将所述无标签样本集中的无标签文本输入所述第一子模型，生成多个伪无标签样本，其中，所述多个伪无标签样本用于其他任务模型的训练，所述其他任务模型和所述第一任务模型执行不同任务。

6.根据权利要求2所述的方法，在所述基于所述有标签样本集和所述第一伪标签样本集，对所述第一子模型和所述第二子模型进行训练，获得训练后的第一任务模型之后，还包括：

接收所述第二任务模型输出的多个伪无标签样本，将所述多个伪无标签样本输入所述第一子模型，生成第二伪标签样本集，其中，所述第二伪标签样本集包括所述多个伪无标签文本分别对应的伪标签文本；

从所述第二伪标签样本集中提取第二伪标签文本，其中，所述第二伪标签文本为多个伪标签文本中的任一个；

将所述第二伪标签文本输入所述第二子模型，通过所述第二子模型的自学习，获得第四损失值；

基于所述第四损失值，调整所述第二子模型的模型参数，以及调整所述第一子模型的模型参数。

7.根据权利要求2至6任一项所述的方法，在所述将所述无标签样本集中的无标签文本输入所述第一子模型，生成第一伪标签样本集之前，还包括：

对所述无标签文本进行文本修改，生成增强无标签文本；

将所述增强无标签文本添加至所述无标签样本集，得到补充后的无标签文本。