[发明专利]一种文本处理方法、装置和计算机可读存储介质

说明书

本申请实施例公开了一种文本处理方法、装置和计算机可读存储介质，其中，本申请实施例可以基于预设初始模型确定预测正确的第一文本片段和预测错误的第二文本片段，预设初始模型包括上半分支网络和下半分支网络；分别遮盖当前训练文本中的第一文本片段和第二文本片段，得到第一输入文本和第二输入文本；基于上半分支网络对第一输入文本进行特征提取，得到第一特征信息；根据第一特征信息、第二输入文本和下半分支网络，对各位置的文本片段进行预测，得到预测文本；基于预测文本与当前训练文本进行收敛，得到目标语言模型；基于目标语言模型和待处理文本进行文本片段预测，得到目标文本。本发明实施例可以提高文本处理速度。

技术领域

本申请涉及神经网络的技术领域，具体涉及一种文本处理方法、装置和计算机可读存储介质。

背景技术

近年来，随着神经网络技术在人工智能领域的大热，将神经网络应用于自然语言处理系统(Natural Language Processing，NLP)也有了长足的发展，通常，自然语言处理系统基于预训练的语言模型搭建，然后根据文本处理的具体场景微调参数。语言模型需要涵盖文本中的语义和语法特征，需要使用大量的文本对模型进行预训练，每个文本需要循环训练多次，才能理解文本语义、语法，比如MASS模型需要训练50万步，才能得到所述语言模型，因此，需要耗费大量的时间才能获得处理文本需要的目标语言模型，从而导致文本处理速度较慢。

发明内容

有鉴于此，本申请实施例提供了一种文本处理方法、装置和计算机可读存储介质，可以提高文本处理速度。

第一方面，本申请实施例提供了一种文本处理方法，包括：

基于预设初始模型对预测文本中各个位置上的文本片段进行初始预测，确定预测正确的第一文本片段和预测错误的第二文本片段，预设初始模型包括上半分支网络和下半分支网络；

对当前训练文本中的第一文本片段进行遮盖，得到第一输入文本；

对当前训练文本中的第二文本片段进行遮盖，得到第二输入文本；

基于所述上半分支网络对所述第一输入文本进行特征提取，得到所述第一输入文本的第一特征信息；

根据所述第一特征信息和所述第二输入文本，以及所述下半分支网络，对预测文本中各个位置的文本片段进行预测，得到预测文本；

基于所述预测文本与所述当前训练文本进行收敛，得到目标语言模型；

基于所述目标语言模型和待处理文本进行文本片段预测，得到目标文本。

在一实施例中，基于预设初始模型对预测文本中各个位置上的文本片段进行预测，确定预测正确的第一文本片段和预测错误的第二文本片段，包括：

根据预设初始模型的上半分支网络对当前训练文本进行特征提取，获取当前训练文本的特征信息；

基于所述预设初始模型的下半分支网络，以及所述当前训练文本的特征信息，对预测文本中各个位置上的文本片段进行初始文本预测，得到预测文本；

根据所述预测文本和所述当前训练文本，确定预测文本中预测正确的第一文本片段和预测错误的第二文本片段。

在一实施例中，在所述基于预设初始模型对预测文本中各个位置上的文本片段进行初始预测，确定预测正确的第一文本片段和预测错误的第二文本片段之前，还包括：

从预设文本集中获取当前训练文本；

基于预设初始模型的上半分支网络对所述当前训练文本进行特征提取，获取所述当前训练文本的特征信息；

根据所述特征信息和当前训练文本，以及所述预设初始模型的下半分支网络，对预测文本中的各个位置的文本片段进行文本预测，得到预测文本；