[发明专利]N-Gram模型的建立方法有效
申请号: | 201711464797.0 | 申请日: | 2017-12-28 |
公开(公告)号: | CN108021712B | 公开(公告)日: | 2021-12-31 |
发明(设计)人: | 邓晓衡;吴佳祺;漆华妹;陈凌驰;黄戎 | 申请(专利权)人: | 中南大学 |
主分类号: | G06F16/36 | 分类号: | G06F16/36;G06F16/953;G06F40/284 |
代理公司: | 长沙永星专利商标事务所(普通合伙) 43001 | 代理人: | 周咏;米中业 |
地址: | 410083 湖南*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种N‑Gram模型的建立方法,包括获取原始语料;对原始语料进行分词;对分词结果进行单词统计;对N‑Gram模型进行平滑处理,得到最终的N‑Gram模型。本发明方法通过建立Witten‑Bell平滑对N‑Gram模型进行平滑,同时采用分布式平台计算建模过程中的参数,并采用Hbase数据库对计算的参数进行存储和读取,因此本发明方法在应对海量训练语料的情况下,其拓展性非常好,而且方法的建模速度和查询速度均较快。 | ||
搜索关键词: | gram 模型 建立 方法 | ||
【主权项】:
1.一种N-Gram模型的建立方法,包括如下步骤:S1.获取原始语料;S2.对步骤S1获取的原始语料进行分词;S3.对步骤S2得到的分词结果进行单词统计;S4.对N-Gram模型进行平滑处理,从而得到最终的N-Gram模型。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中南大学,未经中南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201711464797.0/,转载请声明来源钻瓜专利网。
- 上一篇:具有基准温度确定的温度测量装置
- 下一篇:具有清洗功能的导向装置及湿式设备