[发明专利]一种中文分词的方法及装置有效
申请号: | 201510727506.7 | 申请日: | 2015-10-30 |
公开(公告)号: | CN106649251B | 公开(公告)日: | 2019-07-09 |
发明(设计)人: | 胡斌;崔维福 | 申请(专利权)人: | 北京国双科技有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27 |
代理公司: | 北京鼎佳达知识产权代理事务所(普通合伙) 11348 | 代理人: | 王伟锋;刘铁生 |
地址: | 100083 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 中文 分词 方法 装置 | ||
1.一种中文分词的方法,其特征在于,所述方法包括:
对同一个目标字符串分别进行正向匹配分词和逆向匹配分词,分别获得正向分词序列和逆向分词序列;
查找所述正向分词序列和所述逆向分词序列之间的冲突词,所述冲突词包括所述正向分词序列包含、但所述逆向分词序列不包含的第一冲突词,以及所述逆向分词序列包含、但所述正向分词序列不包含的第二冲突词;
根据所述第一冲突词词频值和所述第一冲突词所在词典表的等级值计算所述第一冲突词的贡献值,记做第一贡献值;
根据所述第二冲突词词频值和所述第二冲突词所在词典表的等级值计算所述第二冲突词的贡献值,记做第二贡献值;
比较所述第一贡献值与所述第二贡献值的大小,将贡献值大的冲突词记做优质冲突词;
将优质冲突词与非冲突词结合,确定目标字符串最终的分词结果。
2.根据权利要求1所述的方法,其特征在于,所述计算所述第一冲突词的贡献值,记做第一贡献值,包括:
按照下述公式计算所述第一贡献值:
R1=F11×L11+F12×L12+F13×L13...+F1n×L1n
其中,R1为所述第一贡献值,F1n为第一冲突词中第n个冲突词的词频值,L1n为第一冲突词中第n个冲突词所在词典表的等级值,n为第一冲突词中冲突词的数量;
所述计算所述第二冲突词的贡献值,记做第二贡献值,包括:
按照下述公式计算所述第二贡献值:
R2=F21×L21+F22×L22+F23×L23...+F2m×L2m
其中,R2为所述第二贡献值,F2m为第二冲突词中第m个冲突词的词频值,L2m为第二冲突词中第m个冲突词所在词典表的等级值,m为第二冲突词中冲突词的数量。
3.根据权利要求2所述的方法,其特征在于,在所述对同一个目标字符串分别进行正向匹配分词和逆向匹配分词之前,所述方法进一步包括:
根据词语类别,将词典中词语分为不同的词典表;
根据所述词典表中词语的使用频率,为所述词典表设置等级值。
4.根据权利要求3所述的方法,其特征在于,所述使用频率与所述等级值成正相关关系。
5.根据权利要求1所述的方法,其特征在于,组成所述第一冲突词的分词在所述正向分词序列中是连续的,组成所述第二冲突词的分词在所述逆向分词序列中是连续的。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述方法进一步包括:
若所述第一贡献值与所述第二贡献值相等,则将所述第一冲突词和所述第二冲突词中的任意一项记做优质冲突词。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京国双科技有限公司,未经北京国双科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510727506.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种情感新词的识别方法及装置
- 下一篇:一种基于语义分析的数据处理系统及方法