[发明专利]文本处理方法、装置、电子设备及存储介质

权利要求书

1.一种文本处理方法，其特征在于，包括：

获取待处理的目标文本包含的汉字信息和非汉字信息，所述非汉字信息包括拼音和图形中的至少一种；

基于所述汉字信息对所述非汉字信息进行掩码处理，得到掩码文本；

通过文本转换模型基于所述掩码文本对所述非汉字信息进行汉字预测，得到所述非汉字信息对应的预测汉字信息；

基于所述汉字信息和所述非汉字信息对应的预测汉字信息，确定用于表示所述目标文本的语义的目标汉字序列。

2.根据权利要求1所述的方法，其特征在于，所述基于所述汉字信息对所述非汉字信息进行掩码处理，得到掩码文本，包括：

从所述目标文本包含的汉字信息中，获取与所述非汉字信息关联的目标汉字信息；

基于所述目标汉字信息和所述非汉字信息分别在所述目标文本中的排列顺序，对所述目标汉字信息和所述非汉字信息进行拼接处理，得到候选文本；

对所述候选文本中的所述非汉字信息进行掩码处理，得到所述掩码文本。

3.根据权利要求1所述的方法，其特征在于，所述文本转换模型包括多个转换网络，每个转换网络对应一种类型的非汉字信息；

所述通过文本转换模型基于所述掩码文本对所述非汉字信息进行汉字预测，得到所述非汉字信息对应的预测汉字信息，包括：

基于所述非汉字信息的类型，确定所述非汉字信息对应的转换网络；

通过所述非汉字信息对应的转换网络，基于所述非汉字信息对应的掩码文本对所述非汉字信息进行汉字预测，得到所述非汉字信息对应的预测汉字信息。

4.根据权利要求3所述的方法，其特征在于，在通过文本转换模型基于所述掩码文本对所述非汉字信息进行汉字预测之前，所述方法还包括：

获取训练数据，所述训练数据包括第一样本文本以及所述第一样本文本中的样本非汉字信息对应的汉字标签，所述训练数据用于训练所述文本转换模型中的目标转换网络；其中，所述目标转换网络为所述多个转换网络中的任一个转换网络，所述第一样本文本包括样本汉字信息以及所述样本非汉字信息，所述样本非汉字信息的类型与所述目标转换网络对应，所述汉字标签包括用于表示所述样本非汉字信息的语义的汉字；

基于所述样本汉字信息对所述样本非汉字信息进行掩码处理，得到样本掩码文本；

通过所述目标转换网络，基于所述样本掩码文本对所述样本非汉字信息进行汉字预测，得到所述样本非汉字信息对应的预测汉字信息；

基于所述样本非汉字信息对应的预测汉字信息及汉字标签，更新所述目标转换网络的网络参数。

5.根据权利要求1所述的方法，其特征在于，所述预测汉字信息包括用于表示所述非汉字信息的语义的多个预测汉字以及每个预测汉字对应的预测概率；

所述基于所述汉字信息和所述非汉字信息对应的预测汉字信息，确定用于表示所述目标文本的语义的目标汉字序列，包括：

分别使用所述多个预测汉字中的每个预测汉字替换所述目标文本中的所述非汉字信息，得到每个预测汉字对应的候选汉字序列；

基于每个预测汉字对应的预测概率以及每个预测汉字对应的候选汉字序列的长度，确定每个预测汉字对应的候选汉字序列的合法度；

从所述多个预测汉字分别对应的候选汉字序列中，选取合法度最大的候选汉字序列，作为用于表示所述目标文本的语义的目标汉字序列。

6.根据权利要求1所述的方法，其特征在于，所述获取待处理的目标文本包含的汉字信息和非汉字信息，包括：

将所述目标文本输入文本分类模型，得到所述目标文本包含的汉字信息和非汉字信息，所述文本分类模型为以多个第二样本文本以及每个第二样本对应的类型标签进行模型训练得到的，每个第二样本文本包含至少一种类型的信息，所述类型标签用于表示对应的第二样本文本包含的信息的类型，所述至少一种类型的信息包括如下信息中的至少一种：汉字信息、拼音、图形。