[发明专利]基于中文分词的中文校对纠错方法及系统在审
申请号: | 201810601792.6 | 申请日: | 2018-06-12 |
公开(公告)号: | CN108717412A | 公开(公告)日: | 2018-10-30 |
发明(设计)人: | 窦志成;曾泽群;谢峰 | 申请(专利权)人: | 北京一览群智数据科技有限责任公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27 |
代理公司: | 北京中建联合知识产权代理事务所(普通合伙) 11004 | 代理人: | 刘湘舟 |
地址: | 100080 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 短句 纠错 中文分词 校对 中文 单字 工作效率 纠错处理 中文文本 自动校对 文本库 错别字 拼音 预设 词语 文本 | ||
1.基于中文分词的中文校对纠错方法,其特征在于,所述方法包括以下步骤:
对输入的中文文本按单句进行中文分词得到词数组,所述词数组包括单字、两字、三字或四字词语;对所述词数组进行重组形成短句;
判断所述短句在预设文本库中出现的次数是否大于第一阈值,
若是,则将所述短句标记为正确;若否,则对所述短句进行字形及拼音纠错处理。
2.根据权利要求1所述的基于中文分词的中文校对纠错方法,其特征在于,所述对输入的中文文本按单句进行中文分词得到词数组的步骤包括:
对输入的中文文本按句号及逗号进行拆分,形成独立句子;
对所述独立句子进行中文分词得到词数组,所述词数组包括单字、两字、三字或四字词语。
3.根据权利要求1所述的基于中文分词的中文校对纠错方法,其特征在于, 所述对所述词数组进行重组形成短句的步骤包括:
对所述词数组按照预设字符串长度进行重组形成短句。
4.根据权利要求3所述的基于中文分词的中文校对纠错方法,其特征在于,所述对所述词数组进行重组形成短句的步骤还包括:
当判断所述词数组中含有常用字符时,跳过所述常用字符后再按照预设字符串长度进行重组形成短句。
5.根据权利要求4所述的基于中文分词的中文校对纠错方法,其特征在于,所述预设文本库为Solr文本库。
6.根据权利要求1所述的基于中文分词的中文校对纠错方法,其特征在于,所述对所述短句进行字形及拼音纠错处理的步骤具体包括:
将所述短句的目标词语根据其字符长度在预设词库中进行模糊匹配,得到跟所述目标词语相似的备选词语;
对所述备选词语进行字形相似度检验;
获取所述目标词语中每个字的拼音,并组合成字符串进行拼音的相似度检验;
在判断所述词语相似度的值大于第二阈值以及所述词语的统计词频大于第三阈值时,标记所述备选词语为推荐词语。
7.一种基于中文分词的中文校对纠错系统,其特征在于,所述系统包括:分词单元、重组单元、判断单元,标记单元及纠错单元;
所述分词单元用于对输入的中文文本按单句进行中文分词得到词数组,所述词数组包括单字、两字、三字或四字词语;所述重组单元用于对所述词数组进行重组形成短句;所述判断单元用于判断所述短句在预设文本库中出现的次数是否大于第一阈值;所述标记单元用于在判断所述短句在预设文本库中出现的次数大于第一阈值时,将所述短句标记为正确;所述纠错单元用于在判断所述短句在预设文本库中出现的次数不大于第一阈值时,对所述短句进行字形及拼音纠错处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京一览群智数据科技有限责任公司,未经北京一览群智数据科技有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810601792.6/1.html,转载请声明来源钻瓜专利网。