[发明专利]分词方法和分词系统有效
| 申请号： | 201610251640.9 | 申请日： | 2016-04-20 |
| 公开（公告）号： | CN105893353B | 公开（公告）日： | 2018-10-26 |
| 发明（设计）人： | 陈炳标 | 申请（专利权）人： | 广东万丈金数信息技术股份有限公司 |
| 主分类号： | G06F17/27 | 分类号： | G06F17/27 |
| 代理公司： | 广州华进联合专利商标代理有限公司 44224 | 代理人： | 潘桂生 |
| 地址： | 510665 广东省广*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种分词方法和分词系统，所述方法包括：接收输入的待测文本；根据预设划分标识对待测文本进行划分；根据预先建立的字典分别对各个新文本进行正向最大匹配分词和反向最大匹配分词；比较两次匹配后的分词结果是否相同；当比较结果相同时，输出任意一个匹配后的分词结果；当比较结果不同时，根据所述字典分别计算两次匹配后的分词结果中各个词的词频；判断两次匹配后的分词结果中各个词的词频是否符合第一要求；当判定不符合时，根据所述字典分别判断两次匹配后的分词结果的语法是否正确；当判定正向匹配分词结果的语法正确时，输出正向匹配分词结果，否则输出反向匹配分词结果。本发明提高分词速度和准确率，满足实际应用需要。 | ||
| 搜索关键词： | 分词 方法 系统 | ||
【主权项】：
1.一种分词方法，其特征在于，包括以下步骤：接收输入的待测文本；根据预设划分标识对所述待测文本进行划分，得到若干个新文本；根据预先建立的字典分别对各个所述新文本进行正向最大匹配分词和反向最大匹配分词；比较第一新文本两次匹配后的分词结果是否相同，所述第一新文本为各个所述新文本中的任意一个新文本；当比较两次匹配后的分词结果相同时，输出所述第一新文本进行正向最大匹配分词或反向最大匹配分词后的分词结果；当比较两次匹配后的分词结果不同时，根据所述字典分别计算所述第一新文本进行正向最大匹配分词和反向最大匹配分词后的分词结果中各个词的词频；判断计算得到的所述第一新文本进行正向最大匹配分词和反向最大匹配分词后的分词结果中各个词的词频是否符合预设第一要求；当判定所述第一新文本两次匹配后的分词结果中各个词的词频不符合所述预设第一要求时，根据所述字典分别判断所述第一新文本进行正向最大匹配分词和反向最大匹配分词后的分词结果的语法是否正确；当判定所述第一新文本进行正向最大匹配分词后的分词结果的语法正确时，输出所述第一新文本进行正向最大匹配分词后的分词结果，否则输出所述第一新文本进行反向最大匹配分词后的分词结果；其中判断计算得到的所述第一新文本进行正向最大匹配分词和反向最大匹配分词后的分词结果中各个词的词频是否符合预设第一要求的步骤包括：根据计算得到的所述第一新文本进行正向最大匹配分词和反向最大匹配分词后的分词结果中各个词的词频，计算所述第一新文本进行正向最大匹配分词后的分词结果中各个词的词频总和与所述第一新文本进行反向最大匹配分词后的分词结果中各个词的词频总和的差值；判断所述差值的绝对值是否大于预设差值阈值。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广东万丈金数信息技术股份有限公司，未经广东万丈金数信息技术股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610251640.9/，转载请声明来源钻瓜专利网。
