[发明专利]一种中文分词的方法及装置有效

专利信息
申请号: 201510727506.7 申请日: 2015-10-30
公开(公告)号: CN106649251B 公开(公告)日: 2019-07-09
发明(设计)人: 胡斌;崔维福 申请(专利权)人: 北京国双科技有限公司
主分类号: G06F17/27 分类号: G06F17/27
代理公司: 北京鼎佳达知识产权代理事务所(普通合伙) 11348 代理人: 王伟锋;刘铁生
地址: 100083 北京市海淀区*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 中文 分词 方法 装置
【权利要求书】:

1.一种中文分词的方法,其特征在于,所述方法包括:

对同一个目标字符串分别进行正向匹配分词和逆向匹配分词,分别获得正向分词序列和逆向分词序列;

查找所述正向分词序列和所述逆向分词序列之间的冲突词,所述冲突词包括所述正向分词序列包含、但所述逆向分词序列不包含的第一冲突词,以及所述逆向分词序列包含、但所述正向分词序列不包含的第二冲突词;

根据所述第一冲突词词频值和所述第一冲突词所在词典表的等级值计算所述第一冲突词的贡献值,记做第一贡献值;

根据所述第二冲突词词频值和所述第二冲突词所在词典表的等级值计算所述第二冲突词的贡献值,记做第二贡献值;

比较所述第一贡献值与所述第二贡献值的大小,将贡献值大的冲突词记做优质冲突词;

将优质冲突词与非冲突词结合,确定目标字符串最终的分词结果。

2.根据权利要求1所述的方法,其特征在于,所述计算所述第一冲突词的贡献值,记做第一贡献值,包括:

按照下述公式计算所述第一贡献值:

R1=F11×L11+F12×L12+F13×L13...+F1n×L1n

其中,R1为所述第一贡献值,F1n为第一冲突词中第n个冲突词的词频值,L1n为第一冲突词中第n个冲突词所在词典表的等级值,n为第一冲突词中冲突词的数量;

所述计算所述第二冲突词的贡献值,记做第二贡献值,包括:

按照下述公式计算所述第二贡献值:

R2=F21×L21+F22×L22+F23×L23...+F2m×L2m

其中,R2为所述第二贡献值,F2m为第二冲突词中第m个冲突词的词频值,L2m为第二冲突词中第m个冲突词所在词典表的等级值,m为第二冲突词中冲突词的数量。

3.根据权利要求2所述的方法,其特征在于,在所述对同一个目标字符串分别进行正向匹配分词和逆向匹配分词之前,所述方法进一步包括:

根据词语类别,将词典中词语分为不同的词典表;

根据所述词典表中词语的使用频率,为所述词典表设置等级值。

4.根据权利要求3所述的方法,其特征在于,所述使用频率与所述等级值成正相关关系。

5.根据权利要求1所述的方法,其特征在于,组成所述第一冲突词的分词在所述正向分词序列中是连续的,组成所述第二冲突词的分词在所述逆向分词序列中是连续的。

6.根据权利要求1至5中任一项所述的方法,其特征在于,所述方法进一步包括:

若所述第一贡献值与所述第二贡献值相等,则将所述第一冲突词和所述第二冲突词中的任意一项记做优质冲突词。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京国双科技有限公司,未经北京国双科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201510727506.7/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top