[发明专利]一种文本处理方法、装置和计算机可读存储介质

权利要求书

1.一种文本处理方法，其特征在于，包括：

基于预设初始模型对预测文本中各个位置上的文本片段进行初始预测，确定预测正确的第一文本片段和预测错误的第二文本片段，预设初始模型包括上半分支网络和下半分支网络；

对当前训练文本中的第一文本片段进行遮盖，得到第一输入文本；

对当前训练文本中的第二文本片段进行遮盖，得到第二输入文本；

基于所述上半分支网络对所述第一输入文本进行特征提取，得到所述第一输入文本的第一特征信息；

根据所述第一特征信息和所述第二输入文本，以及所述下半分支网络，对预测文本中各个位置的文本片段进行预测，得到预测文本；

基于所述预测文本与所述当前训练文本进行收敛，得到目标语言模型；

基于所述目标语言模型和待处理文本进行文本片段预测，得到目标文本。

2.如权利要求1所述的文本处理方法，其特征在于，基于预设初始模型对预测文本中各个位置上的文本片段进行预测，确定预测正确的第一文本片段和预测错误的第二文本片段，包括：

根据预设初始模型的上半分支网络对当前训练文本进行特征提取，获取当前训练文本的特征信息；

基于所述预设初始模型的下半分支网络，以及所述当前训练文本的特征信息，对预测文本中各个位置上的文本片段进行初始文本预测，得到预测文本；

根据所述预测文本和所述当前训练文本，确定预测文本中预测正确的第一文本片段和预测错误的第二文本片段。

3.如权利要求1所述的文本处理方法，其特征在于，在所述基于预设初始模型对预测文本中各个位置上的文本片段进行初始预测，确定预测正确的第一文本片段和预测错误的第二文本片段之前，还包括：

从预设文本集中获取当前训练文本；

基于预设初始模型的上半分支网络对所述当前训练文本进行特征提取，获取所述当前训练文本的特征信息；

根据所述特征信息和当前训练文本，以及所述预设初始模型的下半分支网络，对预测文本中的各个位置的文本片段进行文本预测，得到预测文本；

基于所述预测文本和所述当前训练文本进行收敛。

4.如权利要求1所述的文本处理方法，其特征在于，基于所述预测文本和当前训练文本进行收敛，得到目标语言模型，包括：

根据预设损失函数，获取所述预测文本与所述当前训练文本的交叉熵损失；

基于所述交叉熵损失，调整所述预设初始模型中的参数，得到当前训练文本训练后的当前预设初始模型；

基于所述当前预设初始模型，获取目标语言模型。

5.如权利要求4所述的文本处理方法，其特征在于，基于所述交叉熵损失，调整所述预设初始模型中的参数，得到当前训练文本训练后的预设初始模型，包括：

若所述交叉熵损失不满足预设条件，则调整所述预设初始模型中的参数；

根据所述预测文本，更新所述第一输入文本和第二输入文本；

返回执行所述基于预设初始模型中上半分支网络对第一输入文本进行特征提取，得到第一输入文本的第一特征信息的步骤，直至所述交叉熵损失满足预设条件；

获取当前训练文本训练后的当前预设初始模型。

6.如权利要求4所述的文本处理方法，其特征在于，基于所述当前预设初始模型，获取目标语言模型，包括：

将所述当前训练文本从预设文本集中删除；

返回执行所述从预设文本集中获取文本的步骤，将当前训练文本更新为获取到的文本；

基于所述当前训练文本对所述目当前预设初始模型进行训练，直至所述预设文本集中的文本均训练完毕，得到目标语言模型。