[发明专利]基于中文分词的中文校对纠错方法及系统

说明书

本发明提出了一种基于中文分词的中文校对纠错方法及系统，所述方法包括以下步骤：对输入的中文文本按单句进行中文分词得到词数组，所述词数组包括单字、两字、三字或四字词语；对所述词数组进行重组形成短句；判断所述短句在预设文本库中出现的次数是否大于第一阈值，若是，则将所述短句标记为正确；若否，则对所述短句进行字形及拼音纠错处理。本发明实现了对文本中错别字进行自动校对与纠错，提升了中文校对纠错的准确性及工作效率。

技术领域

本发明涉及文本校正的技术领域，特别涉及一种基于中文分词的中文校对纠错方法及系统。

背景技术

中文文字信息进入计算机主要通过四个途径：即传统的编码录入、光学扫描输入、智能语音输入和智能手写输入。目前上述四种输入方式均无法确保进入计算机的文字信息完全正确。传统的语言文字校对手段是人工文本校对，需要耗费大量的人力、物力和财力。虽然国外文本校对在英文的拼写校对方面取得了一定成果，且部分成果实现了商业化，但由于在于中文语言结构的复杂性和词语搭配的多样性，同时结合语境使得字、词和句变得错综复杂，因此，现有的技术延用到中文校对和纠错上，效果不佳。

发明内容

本发明的目的是提出一种基于中文分词的中文校对纠错方法及系统，能对文本中错别字进行自动校对与纠错，提升中文纠错的准确性及工作效率。

为达到上述目的，本发明提出了一种基于中文分词的中文校对纠错方法，包括以下步骤：

对输入的中文文本按单句进行中文分词得到词数组，所述词数组包括单字、两字、三字或四字词语；对所述词数组进行重组形成短句；

判断所述短句在预设文本库中出现的次数是否大于第一阈值，

若是，则将所述短句标记为正确；若否，则对所述短句进行字形及拼音纠错处理。

进一步，在上述的基于中文分词的中文校对纠错方法中，所述对输入的中文文本按单句进行中文分词得到词数组的步骤包括：

对输入的中文文本按句号及逗号进行拆分，形成独立句子；

对所述独立句子进行中文分词得到词数组，所述词数组包括单字、两字、三字或四字词语。

进一步，在上述的基于中文分词的中文校对纠错方法中，所述对所述词数组进行重组形成短句的步骤包括：

对所述词数组按照预设字符串长度进行重组形成短句。

进一步，在上述的基于中文分词的中文校对纠错方法中，所述对所述词数组进行重组形成短句的步骤还包括：

当判断所述词数组中含有常用字符时，跳过所述常用字符后再按照预设字符串长度进行重组形成短句。

进一步，在上述的基于中文分词的中文校对纠错方法中，所述预设文本库为Solr文本库。

进一步，在上述的基于中文分词的中文校对纠错方法中，所述对所述短句进行字形及拼音纠错处理的步骤具体包括：

将所述短句的目标词语根据其字符长度在预设词库中进行模糊匹配，得到跟所述目标词语相似的备选词语；

对所述备选词语进行字形相似度检验；

获取所述目标词语中每个字的拼音，并组合成字符串进行拼音的相似度检验；

在判断所述词语相似度的值大于第二阈值以及所述词语的统计词频大于第三阈值时，标记所述备选词语为推荐词语。

另，本发明还提供一种基于中文分词的中文校对纠错系统，包括：分词单元、重组单元、判断单元，标记单元及纠错单元；