[发明专利]一种基于hash散列表词典结构的中文分词方法有效
| 申请号： | 201310720277.7 | 申请日： | 2013-12-20 |
| 公开（公告）号： | CN103646018A | 公开（公告）日： | 2014-03-19 |
| 发明（设计）人： | 盖荣丽;高菲 | 申请（专利权）人： | 大连大学 |
| 主分类号： | G06F17/27 | 分类号： | G06F17/27 |
| 代理公司： | 大连智高专利事务所(特殊普通合伙) 21235 | 代理人： | 胡景波 |
| 地址： | 116622 辽宁省大连*** | 国省代码： | 辽宁;21 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于hash散列表词典结构的中文分词方法，包括以下步骤：A、对待处理文档进行预处理；B、对每一个处理块分别进行正向最大匹配扫描切分和逆向最大匹配扫描切分；C、对每一个处理块的两次扫描结果进行比较，如果两次扫描后的分词结果相同，则输出正向分词结果，如果结果不同，则分别计算正向最大扫描和逆向最大扫描结果的分词个数S、单字字典词数D、非词典词数N和最大词长L；D、结合以下方法对C中产生的数据进行比较分析后输出正确结果。本发明的有益效果为：提高了分词过程中的匹配效率提高正反向扫描后的比较速度，从根本上提高了双向最大匹配算法的效率。 | ||
| 搜索关键词： | 一种 基于 hash 列表 词典 结构 中文 分词 方法 | ||
【主权项】：
一种基于hash散列表词典结构的中文分词方法，其特征在于：包括以下步骤：A、对待处理文档进行预处理，将文本以每一句话为单位分为多个处理块，去掉文档中的标点、英文字母等非汉字信息，用分隔符“/”将其替代；B、对每一个处理块分别进行正向最大匹配扫描切分和逆向最大匹配扫描切分；C、对每一个处理块的两次扫描结果进行比较，如果两次扫描后的分词结果相同，则输出正向分词结果，如果结果不同，则分别计算正向最大扫描和逆向最大扫描结果的分词个数S、单字字典词数D、非词典词数N和最大词长L；D、结合以下方法对C中产生的数据进行比较分析后输出正确结果，具体分析步骤如下：D1、四组值完全相等时，选择逆向分词结果；D2、S、L相等，其他不等时，选择N小的一方为正确结果；D3、S相等，L不等时，选择D=N=0的一方为正确，如果没有则选择L大的一方；D4、S、L都不等时，选择S小且L大的一方正确。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于大连大学，未经大连大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310720277.7/，转载请声明来源钻瓜专利网。
