[发明专利]文本纠错方法、装置、设备及介质

权利要求书

1.一种文本纠错方法，其特征在于，所述方法包括：

获取待纠错文本，将所述待纠错文本输入纠错规则引擎进行纠错处理，得到引擎纠错后的文本；

获取目标词典，根据所述目标词典对所述引擎纠错后的文本进行分词及错误用词判断，得到第一潜在错误用词数据；

将所述引擎纠错后的文本输入预训练模型进行替换概率预测，得到替换概率预测结果，根据所述替换概率预测结果，确定第二潜在错误用词数据；

根据所述引擎纠错后的文本、所述第一潜在错误用词数据和所述第二潜在错误用词数据确定候选替换句，得到多个待评分的候选替换句；

分别将每一个所述待评分的候选替换句输入统计语言模型进行候选替换句评分，得到多个候选替换句评分结果；

根据所述多个候选替换句评分结果，确定目标候选替换句。

2.根据权利要求1所述的文本纠错方法，其特征在于，所述获取目标词典的步骤之前，包括：

获取多个业务场景文本样本；

对所述多个业务场景文本样本进行分词，得到待统计的词语集合；

对所述待统计的词语集合中每个词语进行词频统计，得到多个待分析词语词频；

获取词频阈值；

判断所述多个待分析词语词频是否大于所述词频阈值；

当所述待分析词语词频大于所述词频阈值时，将所述待分析词语词频对应的词语作为业务场景常用词数据；

采用点间互信息和左右熵的新词发现算法对所述多个业务场景文本样本进行新词挖掘，得到业务场景新词数据；

获取业务场景特定词数据和通用场景常用词数据；

根据所述业务场景常用词数据、所述业务场景新词数据、所述业务场景特定词数据和所述通用场景常用词数据，确定所述目标词典。

3.根据权利要求1所述的文本纠错方法，其特征在于，所述根据所述目标词典对所述引擎纠错后的文本进行分词及错误用词判断，得到第一潜在错误用词数据的步骤，包括：

对所述引擎纠错后的文本进行分词，得到多个待判定词语；

判断所述多个待判定词语在所述目标词典中是否存在；

当所述待判定词语在所述目标词典中不存在时，将多个所述待判定词作为所述第一潜在错误用词数据。

4.根据权利要求1所述的文本纠错方法，其特征在于，所述将所述引擎纠错后的文本输入预训练模型进行替换概率预测，得到替换概率预测结果的步骤之前，包括：

获取多个训练样本，所述训练样本包括：训练文本样本数据、训练文本样本标定数据；

将所述训练文本样本数据输入待训练的生成器进行词语替换，得到替换样本句；

将所述替换样本句输入待训练的判别器进行替换概率预测，得到替换概率样本预测值，其中，所述待训练的判别器采用Electra的Discriminator；

根据所述替换概率样本预测值和所述训练文本样本标定数据对所述待训练的生成器和所述待训练的判别器进行训练，并将训练后的所述待训练的判别器作为所述预训练模型。

5.根据权利要求1所述的文本纠错方法，其特征在于，所述根据所述替换概率预测结果，确定第二潜在错误用词数据的步骤，包括：

获取替换概率阈值；

从所述替换概率预测结果中提取大于所述替换概率阈值的值，得到目标替换概率预测数据；

将所述目标替换概率预测数据对应的词语作为所述第二潜在错误用词数据。

6.根据权利要求1所述的文本纠错方法，其特征在于，所述根据所述引擎纠错后的文本、所述第一潜在错误用词数据和所述第二潜在错误用词数据确定候选替换句，得到多个待评分的候选替换句的步骤，包括：

获取同音字同形字字典；

在所述同音字同形字字典中选取与所述第一潜在错误用词数据和所述第二潜在错误用词数据匹配的词作为候选词，得到候选词集合；

对所述候选词集合中的候选词进行随机选择，得到多个候选词分组；

分别将每一个所述候选词分组对所述引擎纠错后的文本进行替换，得到所述多个待评分的候选替换句。