[发明专利]文本处理方法、文本处理装置、电子设备及存储介质

权利要求书

1.一种文本处理方法，其特征在于，所述方法包括：

获取待处理的文本；

对所述文本中含有的目标字进行掩码处理，得到处理文本，其中，在对所述目标字进行掩码处理的过程中，按照第一概率从预设的混淆字集中选取混淆字对所述目标字进行替换，或者按照第二概率对所述目标字进行随机替换，或者按照第三概率保持所述目标字不变，所述第一概率、所述第二概率和所述第三概率之和为1，且所述第一概率大于所述第二概率和所述第三概率；

根据所述处理文本的上下文对经过掩码处理的字符位置进行文字预测，得到预测结果。

2.根据权利要求1所述的方法，其特征在于，所述混淆字集包括字音混淆字集和字形混淆字集；所述按照第一概率从预设的混淆字集中选取混淆字对所述目标字进行替换，包括:

按照第一选取概率从所述字音混淆字集中选取混淆字对所述目标字进行替换，或者按照第二选取概率从所述字形混淆字集中选取混淆字对所述目标字进行替换，所述第一选取概率大于所述第二选取概率，且所述第一选取概率与所述第二选取概率之和等于所述第一概率。

3.根据权利要求1所述的方法，其特征在于，所述根据所述处理文本的上下文对经过掩码处理的字符位置进行文字预测，得到预测结果包括：

根据所述处理文本的上下文提取所述经过掩码处理的字符位置对应的语义特征；

基于所述语义特征预测所述经过掩码处理的字符位置分别为预测字候选集中含有的预测字的第一置信度，以及为预测拼音候选集中含有的预测拼音对应的第二置信度，其中，所述预测拼音候选集中含有所述预测字候选集中预测字对应的预测拼音；

计算对应于同一预测字的第一置信度和第二置信度之间的加权和，选取加权和最大的预测字和对应的预测拼音作为所述经过掩码处理的字符位置对应的预测结果。

4.根据权利要求3所述的方法，其特征在于，所述根据所述处理文本的上下文对经过掩码处理的字符位置进行文字预测，得到预测结果的步骤由预设的文字预测模型执行；所述方法还包括：

计算预测所述经过掩码处理的字符位置为所述预测结果中含有的预测字的第一交叉熵，以及计算预测所述经过掩码处理的字符位置为所述预测结果中含有的预测拼音的第二交叉熵；

将所述第一交叉熵与所述第二交叉熵之和作为对所述经过掩码处理的字符位置进行文字预测的交叉熵，以根据所述交叉熵调整所述文字预测模型的模型参数。

5.根据权利要求3所述的方法，其特征在于，所述根据所述处理文本的上下文提取所述经过掩码处理的字符位置对应的语义特征，包括：

获取所述处理文本中每个字符对应的字信息、位置信息、拼音信息以及字形信息；

基于所述处理文本中所有字符对应的字信息、位置信息、拼音信息以及字形信息形成所述处理文本的上下文，以根据所述处理文本的上下文提取所述经过掩码处理的字符位置的语义特征。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取目标文本，所述目标文本包含待预测文字的字符位置；

将所述目标文本输入至调整后的文字预测模型中，获得所述文字预测模型针对所述目标文本中待预测文字的字符位置所输出的预测结果。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取候选文本集合；

将所述候选文本集合中含有的候选文本依次输入至调整后的文字预测模型中，获取所述文字预测模型针对各个候选文本输出的预测结果，所述预测结果中含有候选文本中各个字符位置对应的预测字；

根据所述各个候选文本对应的预测结果，统计所述各个候选文本中含有的错别字总数，并将错别字总数大于预设阈值的候选文本从所述候选文本集合中过滤，得到待推荐文本集合；

向用户推荐所述待推荐文本集合中含有的待推荐文本。