[发明专利]一种减少Lucene无字典n-gram切词占用存储空间的方法在审
申请号: | 201911307360.5 | 申请日: | 2019-12-18 |
公开(公告)号: | CN111078824A | 公开(公告)日: | 2020-04-28 |
发明(设计)人: | 母延年 | 申请(专利权)人: | 南京录信软件技术有限公司 |
主分类号: | G06F16/31 | 分类号: | G06F16/31 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 210000 江苏省南京*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及计算机算法技术领域,具体公开了一种减少Lucene无字典n‑gram切词占用存储空间的方法,包括如下步骤,S1:输入数据样例;S2:对数据样例进行SNGram切割,获得跳跃倒排表;S3:对步骤S2所获得的数据倒排表进行ngram切词,创建SNGram的映射;S4:完成数据样例的存储;本发明所提供的方法,先进行粗粒度级别的切词,如每隔8个字切一个词;将粗粒度的词,排重后进一步得出细粒度的词,针对细粒度的词创建索引;从而大幅度的减少倒排表的体积,并提升创建索引的性能,提升1*这种需要匹配很多倒排term的扫描性能。 | ||
搜索关键词: | 一种 减少 lucene 字典 gram 占用 存储空间 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京录信软件技术有限公司,未经南京录信软件技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201911307360.5/,转载请声明来源钻瓜专利网。