[发明专利]一种文本纠错的方法和装置

权利要求书

1.一种文本纠错的方法，其特征在于，包括：

将待纠错文本预处理后生成待检字集合，利用预训练的语言模型预测所述待检字集合中每个字的概率分布，根据每个字的概率分布确定错字位置并生成候选字集合，将所述候选字集合中的每个字替换错字位置形成生成候选句集合，对候选句集合中的各元素进行评分，保留评分最优的所述候选句集合中的元素所对应候选字，用该候选字替换相应错字位置并输出句子。

2.根据权利要求1所述的一种文本纠错的方法，其特征在于，所述语言模型的训练步骤包括：随机将待训练句子中的部分汉字替换成另一个同音字和/或近音字；逐批次将替换后的待训练句子输入语言模型中进行前向传播计算，输出替换后文字的预测概率分布；用预测概率分布和真实字符计算负对数似然损失函数；用反向传播算法迭代优化直到模型收敛。

3.根据权利要求1所述的一种文本纠错的方法，其特征在于：所述候选字集合包括同音字或近音字以及排除不符合语言常识的候选字。

4.根据权利要求1所述的一种文本纠错的方法，其特征在于，所述待检字集合的生成步骤包括：将待纠错文本基于通用词典和领域词典进行分词；

基于HMM分词；

把出现在混淆词中的词替换为相应的正确词；

保留分出的单字词和新词，组成待检字集合。

5.一种文本纠错的装置，其特征在于，包括：

文本预处理模块，用于将待纠错文本进行分词；

检错模块，用于预测待检字集合中每个字的概率分布，根据每个字的概率分布确定错字位置；

候选词召回模块，用于对每个错字位置确定候选字集合；

候选词评分模块，用于对每个候选字评分；

替换和输出模块，用于对每个错字位置替换为相应的、评分最优的候选字以及句子输出。

6.根据权利要求5所述的一种文本纠错的装置，其特征在于：所述检错模块包括语言模型训练，训练步骤包括：随机将待训练句子中的部分汉字替换成另一个同音字和/或近音字；逐批次将替换后的待训练句子输入语言模型中进行前向传播计算，输出替换后文字的预测概率分布；用预测概率分布和真实字符计算负对数似然损失函数；用反向传播算法迭代优化直到模型收敛。

7.根据权利要求6所述的一种文本纠错的装置，其特征在于：所述候选字集合包括同音字和近音字并排除不符合语言常识的候选字。

8.根据权利要求7所述的一种文本纠错的装置，其特征在于：所述文本预处理模块包括将待纠错文本基于通用词典和领域词典进行分词后基于HMM分词；把出现在混淆词中的词替换为相应的正确词；保留分出的单字词和新词，组成待检字集合。