[发明专利]一种中文分词方法、装置以及搜索词库读取方法在审
申请号: | 202110434688.4 | 申请日: | 2021-04-22 |
公开(公告)号: | CN113111651A | 公开(公告)日: | 2021-07-13 |
发明(设计)人: | 叶群莉;魏文华;李彩秀;刘宁;农翠华 | 申请(专利权)人: | 深圳华南城网科技有限公司 |
主分类号: | G06F40/284 | 分类号: | G06F40/284;G06F16/33;G06F16/338 |
代理公司: | 深圳智趣知识产权代理事务所(普通合伙) 44486 | 代理人: | 李兴生 |
地址: | 518000 广东省深圳市龙岗区平*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 中文 分词 方法 装置 以及 搜索 词库 读取 | ||
1.一种中文分词方法,其特征在于,包括:
根据输入的最大词长,对待分词语句进行分词,得到第一次分词结果;
将最大词长的长度逐渐减少,并且在每一次最大词长发生变化时,都对所述待分词语句进行分词,得到第N次分词结果,N=2,3……;
将第一次分词结果直至第N次分词结果分别与词库比较,得到输出列表。
2.根据权利要求1所述的一种中文分词方法,其特征在于,所述“根据输入的最大词长,对待分词语句进行分词”,包括:
人为输入最大词长的长度,并进行标记,得到标记词长;
对所述待分词语句按照标记词长的长度进行分词,得到第一次分词结果;
将所述第一次分词结果与所述词库进行对比,得到所述待分词语句中的最长词。
3.根据权利要求2所述的一种中文分词方法,其特征在于,所述“对所述待分词语句按照标记词长的长度进行分词,得到第一次分词结果”,包括:
根据语意顺序,以所述标记词长的长度正向分解所述待分词语句,得到正向分解后的分词结果;
根据语意顺序,以所述标记词长的长度逆向分解所述待分词语句,得到逆向分解后的分词结果;
将所述正向分解后的分词结果和逆向分解后的分词结果同时与所述词库进行比较,得到第一次分词结果。
4.根据权利要求2所述的一种中文分词方法,其特征在于,所述“将所述第一次分词结果与所述词库进行对比,得到所述待分词语句中的最长词”,包括:
将所述第一次分词结果与所述词库中的数据进行对比:
当所述第一次分词结果中的某一个词在所述词库中存在,则将该词输出至输出列表,作为所述待分词语句中的最长词。
5.根据权利要求1所述的一种中文分词方法,其特征在于,所述“将最大词长的长度逐渐减少,并且在每一次最大词长发生变化时,都对所述待分词语句进行分词,得到第N次分词结果”,包括:
在所述最大词长的长度逐渐减少时,判断所述最大词长改变后的长度;
通过改变后的所述最大词长确定本次分词的长度;
根据语意顺序,以本次分词的长度为准,正向分解所述待分词语句,得到本次正向分解后的分词结果;
根据语意顺序,以本次分词的长度为准,逆向分解所述待分词语句,得到本次逆向分解后的分词结果;
将所述本次正向分解后的分词结果和本次逆向分解后的分词结果同时与所述词库进行比较,得到本次分词结果。
6.根据权利要求5所述的一种中文分词方法,其特征在于,所述“在所述最大词长的长度逐渐减少时,判断所述最大词长改变后的长度”,包括:
将所述最大词长的长度依次减少,得到改变后的标记词长;
对所述改变后的标记词长进行长度判断:
若,所述改变后的标记词长等于零,则退出;
若,所述改变后的标记词长大于等于1,则,继续将所述最大词长的长度减少,以进行下一轮的分词。
7.一种搜索词库读取方法,其特征在于,包括:
以权利要求1~6所述的中文分词方法作为分词原则,得到的输出结果;
将所述输出结果存储到数据库中;
利用搜索引擎实施实时调用所述数据库,完成词库搜索。
8.一种中文分词系统,其特征在于,包括:
输入模块,用于采集待分词语句以及分词时的最大词长;
第一分词模块,与所述输入模块数据交换,用于根据输入的最大词长对待分词语句进行分词,得到第一次分词结果;
逐步分词模块,与所述第一次分词模块数据交换,用于将所述最大词长的长度逐渐减少,并且在每一次最大词长发生变化时,都对所述待分词语句进行分词,得到第N次分词结果;
处理模块,与所述第一分词模块和所述逐步分词模块进行数据交换,用于将第一次分词结果直至第N次分词结果分别与词库比较,得到输出列表;
词库模块,与所述处理模块数据交换,用于根据所述输出列表更新词库内容。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳华南城网科技有限公司,未经深圳华南城网科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110434688.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种自旋转脉冲旋流清洗喷嘴
- 下一篇:一种增强型集束射频连接器端口