[发明专利]领域词典中中长词词组的生成方法及装置在审
| 申请号： | 201510478225.2 | 申请日： | 2015-08-06 |
| 公开（公告）号： | CN106445906A | 公开（公告）日： | 2017-02-22 |
| 发明（设计）人： | 何鑫 | 申请（专利权）人： | 北京国双科技有限公司 |
| 主分类号： | G06F17/27 | 分类号： | G06F17/27 |
| 代理公司： | 北京鼎佳达知识产权代理事务所(普通合伙)11348 | 代理人： | 王伟锋;刘铁生 |
| 地址： | 100086 北京市海淀区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种领域词典中中长词词组的生成方法及装置，涉及自然语言处理领域，解决了传统方式构建领域词典的过程中无法生成中长词词组的问题。本发明的方法包括：获取通用语料及领域语料；对两套语料进行中文分词，并对分词结果进行组合得到中长词词组候选字符串；统计每一个中长词词组候选字符串在通用语料中以及在领域语料中的统计数据；根据每一个中长词词组候选字符串的统计数据，计算每一个中长词词组候选字符串的卡方统计量获得其得分，并将得分与设定的条件进行比较，保留符合条件的中长词词组候选字符串作为领域词典的领域词。本发明主要用于生成领域词典中的中长词词组的过程中。 | ||
| 搜索关键词： | 领域 词典 中长 词组 生成 方法 装置 | ||
【主权项】：
一种领域词典中中长词词组的生成方法，其特征在于，所述方法包括：获取通用语料，从所述通用语料中得到领域语料；对所述通用语料及所述领域语料进行中文分词，并对分词结果进行组合，生成中长词词组候选字符串；统计每一个中长词词组候选字符串在所述通用语料中的统计数据以及在所述领域语料中的统计数据；根据每一个中长词词组候选字符串在所述通用语料中的统计数据以及在所述领域语料中的统计数据，计算所述每一个中长词词组候选字符串的卡方统计量，获得所述每一个中长词词组候选字符串的得分，并将所述得分与设定的条件进行比较，保留符合条件的中长词词组候选字符串作为领域词典的领域词，所述得分用于表征中长词词组候选字符串对于区分文档属于领域语料与否的贡献程度。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京国双科技有限公司，未经北京国双科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201510478225.2/，转载请声明来源钻瓜专利网。
- 上一篇：问答数据处理、自动问答方法及装置
- 下一篇：一种领域词典的生成方法及装置
