[发明专利]一种中文拼写检查方法

说明书

本发明涉及一种中文拼写检查方法。包括如下步骤：构建分词模型，对待检测文本进行分词，得到分词序列；辨认分词序列中的可疑字，并对可疑字进行标记；建立混淆集；利用混淆集构建图模型框架生成纠正候选；计算得出最优候选结果。本发明构建了优质的混淆字集，对分词系统做进一步改进，提高分词的准确率，进而更准确地查找错误位置和错误字。

技术领域

本发明涉及文字检错领域，特别是一种中文拼写检查方法。

背景技术

在国内外相关领域研发人员的共同努力下，中文拼写检查在关键技术方面取得了重要突破，在技术运用方面也有相关产品落地，比如百度智能纠错平台，云查错等各种APP，拼写检查的质量在一定程度上满足了人们的应用需求。然而，在效果上面，人们还在追求更高水平，错别字检测的准确度、句子修改的正确率、以及混淆集建立的实用性等，都有待提高。

实证研究表明，仅使用带注释的语料库不能产生令人满意的性能，因为拼写错误的学习是严重不平衡的机器学习任务，很少发生但多样化的错误形式的发现，需要更大的正确文字语料库。这种情况促使研究者通过整合有用的方法找到更好的方法。研究者观察到中文拼写错误与分词错误有紧密的正相关关系，因为拼写错误很可能导致分词错误。这种观察是有道理的，因为拼写错误可能会导致一个正确的单词产生不太可能的分段句子。从而，可以粗略地判断：所有可能的单词分割中有或没有拼写校正，具有最高可能性的分割则通常会产生正确的句子。

如果能提出一种同时解决分词和拼写错误检查的技术方案，将是十分有意义的。

发明内容

为解决上述问题，本发明提供了一种中文拼写检查方法，包括如下步骤：

步骤一：构建分词模型，对待检测文本进行分词，得到分词序列；

步骤二：辨认分词序列中的可疑字，并对可疑字进行标记；

步骤四：建立混淆集；

步骤五：利用混淆集构建图模型框架生成纠正候选；

步骤六：计算得出最优候选结果。

进一步的，步骤一中，构建分词模型的具体方法为：

S1.1：预先选定Bi-LSTM模型；

S1.2：对语料进行处理，使用word2vec对语料的字进行嵌入，得到字嵌入；

S1.3：将字嵌入的特征喂给Bi-LSTM模型；

S1.4：在Bi-LSTM模型中加入线性层、CRF层；(请确定S1.3与S1.4的步骤顺序)，得到分词模型。

进一步的，步骤二中，辨认可疑字的具体方法为：将单个字构成的词定义为单字，如果分词序列出现连续的单字构成的单字串，则将单字串认定为可疑字。

进一步的，混淆集的数据格式是key-value格式，其中key为中文字或者中文词语，value为该中文字词可能存在的错误形式。

进一步的，所述错误形式分为发音混淆、形状混淆；形状混淆，是指输入错误；发音混淆包括相同读音、相同音节不同音调、相似音节相同音调、相似音节不同音调。

进一步的，步骤五具体为：对分词序列内的可疑字进行混淆集替换，最后选择满足最短路径的边，确定最终的错误字，输出错误的位置。

进一步的，步骤五中，如果存在多条最短路径，则利用RNN+N-gram模型，确定最终的错误字，输出错误的位置。

进一步的，步骤六具体为：构建RNN+N-gram框架，采用RNN算法得到最优的一个候选句，并将其作为错字校对的最终结果。

本发明的有益效果为：

1.经济效益分析