[发明专利]对文本进行纠错的方法、装置、电子设备和存储介质

权利要求书

1.一种对文本进行纠错的方法，包括：

获取待纠错文本；

确定所述待纠错文本中的备选待纠错词语和针对所述备选待纠错词语的已纠错文本；

采用统计语言模型分别确定所述待纠错文本的第一困惑度和所述已纠错文本的第二困惑度；

在所述第一困惑度大于所述第二困惑度的情况下，采用深度学习语言模型分别确定所述待纠错文本的第三困惑度和所述已纠错文本的第四困惑度；以及

根据所述第三困惑度和所述第四困惑度，确定所述备选待纠错词语中的待纠错词语，

其中，所述确定所述待纠错文本中的备选待纠错词语和针对所述备选待纠错词语的已纠错文本包括：

基于预先设置的错别词库，确定所述待纠错文本中的备选待纠错词语；

基于预先设置的正确词库，确定针对所述备选待纠错词语的正确词语；所述正确词库中包括对应于所述错别词库中的每个错别词语的正确词语；以及

采用针对所述备选待纠错词语的正确词语替换所述待纠错文本中的所述备选待纠错词语，得到针对所述备选待纠错词语的已纠错文本。

2.根据权利要求1所述的方法，其中：

所述错别词库包括针对目标垂直领域的混淆信息集；

所述正确词库包括针对所述目标垂直领域的核心词集；所述混淆信息集是基于所述核心词集构建的。

3.根据权利要求2所述的方法，其中，确定所述待纠错文本中的备选待纠错词语包括：

采用预定匹配算法查询预定字典树，根据所述待纠错文本中与所述预定字典树相匹配的词语，确定所述备选待纠错词语，

其中，所述预定字典树是基于所述混淆信息集构建的。

4.根据权利要求2所述的方法，还包括通过以下方式基于所述核心词集构建所述混淆信息集：

对于所述核心词集中字数小于预定值的第一核心词语，从预定字库中选择与所述第一核心词语中的字相似的相似字，并采用所述相似字替代所述第一核心词语中的字，得到针对所述第一核心词语的混淆词语；

对于所述核心词集中字数大于或等于所述预定值的第二核心词语，确定所述第二核心词语的拼音串，并将与所述第二核心词语的拼音串相似的拼音串作为针对所述第二核心词语的混淆拼音串；以及

基于所述混淆词语和所述混淆拼音串构建所述混淆信息集。

5.根据权利要求4所述的方法，其中，所述基于所述核心词集构建所述混淆信息集还包括：

对于所述第一核心词语，从预定高频词库中选择与所述第一核心词语的发音相似的词，得到针对所述第一核心词语的混淆词语。

6. 根据权利要求3所述的方法，其中，所述混淆信息集包括多个混淆词语；所述方法还包括通过以下方式基于所述混淆信息集构建所述预定字典树：

针对所述多个混淆词语中的每个第一词语，构建针对所述每个第一词语的第一节点分支，所述第一节点分支中的每个第一节点指示所述每个第一词语中的一个字；以及

采用预定字符串匹配算法向所述每个第一节点添加失配指针，得到第一字典树。

7. 根据权利要求6所述的方法，其中，所述混淆信息集还包括多个混淆拼音串，所述多个混淆拼音串中的每个拼音串针对所述核心词集中的一个核心词语；基于所述混淆信息集构建所述预定字典树还包括：

构建针对所述每个拼音串的第二节点分支，所述第二节点分支中的每个第二节点指示所述每个拼音串中的一个拼音；以及

采用预定字符串匹配算法向所述每个第二节点添加失配指针，得到第二字典树。