[发明专利]一种词汇分类的方法、系统和实现方法有效
申请号: | 201110456676.8 | 申请日: | 2011-12-30 |
公开(公告)号: | CN103186612A | 公开(公告)日: | 2013-07-03 |
发明(设计)人: | 徐萌;何洪凌;邓超;罗治国;孙少陵;陶涛 | 申请(专利权)人: | 中国移动通信集团公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F17/27 |
代理公司: | 北京中誉威圣知识产权代理有限公司 11279 | 代理人: | 郭振兴;彭晓玲 |
地址: | 100032 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种词汇分类的方法、系统和实现方法,首先获取文档分类训练集,包括文档及其所属的文档类别信息,对所有文档进行预处理,形成待分类词汇,获取每个待分类词汇在一个文档类别中的TF值和IDF值,并对两者求和得到TF-IDF,除以每个待分类词汇在其文档所属的所有文档类别中的TF-IDF之和,获得的商值作为待分类词汇属于文档类别的概率,生成包括待分类词汇、待分类词汇对应的类别和待分类词汇属于对应类别的概率的词汇分类数据库。采用了本发明的技术方案,能够自动完成词汇分类,而且投入很少,效果更加准确。 | ||
搜索关键词: | 一种 词汇 分类 方法 系统 实现 | ||
【主权项】:
一种词汇分类的方法,其特征在于,包括以下步骤:获取文档分类训练集,所述文档分类训练集包括文档和所述文档所属的文档类别信息;对所有文档进行预处理,形成待分类词汇;获取每个待分类词汇在一个文档类别中的词汇频率值TF;获取每个待分类词汇在一个文档类别中的逆文档频率值IDF;采用每个待分类词汇在一个文档类别中的词汇频率值TF和逆文档频率值IDF获得每个待分类词汇在一个文档类别中的词汇频率‑逆文档频率值TF‑IDF;获取每个待分类词汇在其文档所属的所有文档类别中的词汇频率‑逆文档频率值TF‑IDF之和;每个待分类词汇在一个文档类别中的词汇频率‑逆文档频率值TF‑IDF除以所述待分类词汇在其文档所属的所有文档类别中的词汇频率‑逆文档频率值TF‑IDF之和获得的商值作为所述待分类词汇属于所述文档类别的概率;所述待分类词汇所在文档属于的文档类别作为所述待分类词汇的类别,生成包括待分类词汇、待分类词汇对应的类别和待分类词汇属于对应类别的概率的词汇分类数据库。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国移动通信集团公司,未经中国移动通信集团公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201110456676.8/,转载请声明来源钻瓜专利网。
- 上一篇:人体接近监控告警装置
- 下一篇:环境友好型室内空气净化、消毒、加湿、除湿器