[发明专利]一种智能化文本纠错模型训练方法

权利要求书

1.一种智能化文本纠错模型训练方法，其特征在于，包括以下步骤：

S1、获取待纠错文本；

S2、错误检测，对待纠错文本进行错误检测，所述错误检测包括基于规则的错误检测和基于模型的错误检测；

S3、候选召回，对检测后的文本进行候选召回，通过语言模型和混淆词典来召回正确的候选词；

S4、候选排序，通过排序算法对召回的候选词进行打分排序，选择分数最高的一项进行替换；

S5、候选筛选，得到最优的纠正方案。

2.根据权利要求1所述的一种智能化文本纠错模型训练方法，其特征在于，S2中所述基于规则的错误检测包括拼音匹配检测和双向2gram检测；所述拼音匹配检测通过建立拼音到实体的映射字典，完成错词到拼音到实体的纠错流程；所述双向2gram检测是将语料中所有2gram的联合概率分布拟定为正态分布，通过正确2gram片段的出现概率远大于错误出现的概率来完成错误检测。

3.根据权利要求1所述的一种智能化文本纠错模型训练方法，其特征在于，S2中所述基于模型的错误检测包括基于nn语言错误检测和基于BiLstm改造的音字混合受限字表语言模型错误检测。

4.根据权利要求3所述的一种智能化文本纠错模型训练方法，其特征在于，所述基于nn语言错误检测是通过完形填空的方式来预测候选字的概率分布，若原字的概率不在topk里或与top1比值超过阈值，则认为有错；所述基于BiLstm改造的音字混合受限字表语言模型错误检测，是利用BiLstm，前向Lstm从左到右学习，后向Lstm从后到左学习，然后合并两个得到,得到先与输入的字向量做Attention得到,然后与拼接得到；再用与候选字向量做Attention，用Attention后的分数作为预测概率分布。

5.根据权利要求1所述的一种智能化文本纠错模型训练方法，其特征在于，S3中所述混淆词典包括基于近音、近型、编辑距离的1、2gram混淆词典，将1gram词及词频和1gram近音词词典使用双数组字典树存储，而2gram词典采用CSR数据结构存储，2gram的近音混淆词可以从以上词典里恢复出来。

6.根据权利要求1所述的一种智能化文本纠错模型训练方法，其特征在于，S4中所述候选排序包括一级粗排序和二级精排序，所述一级粗排序采用逻辑回归模型算法，过滤部分明显错误的答案，所述二级精排序采用Xgboost模型对候选进行打分，分数超过设定阈值且是Top1的作为最终候选。

7.根据权利要求6所述的一种智能化文本纠错模型训练方法，其特征在于，所述一级粗排序中逻辑回归抽取的特征主要包括频率比值、编辑距离、拼音jaccard距离、Ngram统计语言模型分数差值。

8.根据权利要求6所述的一种智能化文本纠错模型训练方法，其特征在于，所述二级精排序中的候选特征分为局部特征和全局特征，所述局部特征主要包括分词变化、频次变化、形音变化、PMI互信息变化、Ngram语言模型分数变化特征。