[发明专利]文本纠错方法、装置、介质及设备

权利要求书

1.一种文本纠错方法，其特征在于，所述方法包括：

获取待纠错文本，基于语言模型对所述待纠错文本进行预测，得到所述待纠错文本中目标文本的文本预测值；

根据形近字列表确定所述文本预测值的一个或多个形近字，所述形近字列表是预先通过对文本库语料进行处理得到的；

根据所述文本预测值和所述文本预测值的一个或多个形近字，对所述待纠错文本中所述目标文本进行纠错。

2.根据权利要求1所述的方法，其特征在于，所述根据形近字列表确定所述文本预测值的一个或多个形近字之前，所述方法还包括：

通过对文本库语料进行词频分析和差异量化，得到所述形近字列表；

所述通过对文本库语料进行词频分析和差异量化，得到所述形近字列表，包括：

获取文本库中的短文本语料；

对所述短文本语料进行词频统计和排序，得到第一词汇集合和第二词汇集合；

对于所述第一词汇集合中的第一目标词汇，从所述第二词汇集合中获取与所述第一目标词汇的差异程度满足预设条件的第二目标词汇；

根据所述第一目标词汇和所述第二目标词汇确定差异文本，根据所述差异文本生成至少一组形近字对；

遍历所述第一词汇集合中的所有词汇，确定所述第一词汇集合中所有词汇的形近字对，得到形近字列表。

3.根据权利要求2所述的方法，其特征在于，所述对于所述第一词汇集合中的第一目标词汇，从所述第二词汇集合中获取与所述第一目标词汇的差异程度满足预设条件的第二目标词汇，包括：

计算得到所述第二词汇集合中各第二词汇与所述第一目标词汇的编辑距离；

将编辑距离满足预设条件的第二词汇确定为第二目标词汇。

4.根据权利要求1所述的方法，其特征在于，所述获取待纠错文本，基于语言模型对所述待纠错文本进行预测，得到所述待纠错文本中目标文本的文本预测值，包括：

通过所述文本库语料对机器学习模型进行训练得到语言模型；

确定所述待纠错文本中的目标文本以及所述目标文本的上文或下文；

基于所述语言模型，根据所述目标文本的上文或下文进行预测，得到所述待纠错文本中所述目标文本的文本预测值。

5.根据权利要求1所述的方法，其特征在于，所述根据所述文本预测值和所述文本预测值的一个或多个形近字，对所述待纠错文本中所述目标文本进行纠错，包括：

根据所述文本预测值的一个或多个形近字，判断所述目标文本是否为所述文本预测值的形近字；

若所述目标文本为所述文本预测值的形近字，则将所述目标文本纠正为所述文本预测值，则将所述目标文本纠正为所述文本预测值。

6.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对于所述第一词汇集合中的第一目标词汇，从所述形近字列表中获取所述第一目标词汇中各文本的全部形近字对；

将所述全部形近字对进行组合，得到所述第一目标词汇的混淆词汇；

遍历所述第一词汇集合中的所有词汇，确定所述第一词汇集合中的所有词汇的混淆词汇，生成错误词汇候选集合，所述错误词汇候选集合中的词汇对包括标准词汇和对应的混淆词汇；

获取所述待纠错文本中的短文本，根据所述错误词汇候选集合对所述短文本进行检错纠错。

7.根据权利要求6所述的方法，其特征在于，所述获取所述待纠错文本中的短文本，根据所述错误词汇候选集合对所述短文本进行检错纠错，包括：

获取所述待纠错文本中的短文本；

对于所述短文本中词频低于预设词频阈值的目标短文本，若所述目标短文本为所述错误词汇候选集合中的混淆词汇，则根据所述错误词汇候选集合将所述目标短文本纠正为所述混淆词汇对应的标准词汇。