[发明专利]一种中文分词的方法及装置

权利要求书

1.一种中文分词的方法，其特征在于，所述方法包括：

对同一个目标字符串分别进行正向匹配分词和逆向匹配分词，分别获得正向分词序列和逆向分词序列；

查找所述正向分词序列和所述逆向分词序列之间的冲突词，所述冲突词包括所述正向分词序列包含、但所述逆向分词序列不包含的第一冲突词，以及所述逆向分词序列包含、但所述正向分词序列不包含的第二冲突词；

根据所述第一冲突词词频值和所述第一冲突词所在词典表的等级值计算所述第一冲突词的贡献值，记做第一贡献值；

根据所述第二冲突词词频值和所述第二冲突词所在词典表的等级值计算所述第二冲突词的贡献值，记做第二贡献值；

比较所述第一贡献值与所述第二贡献值的大小，将贡献值大的冲突词记做优质冲突词；

将优质冲突词与非冲突词结合，确定目标字符串最终的分词结果。

2.根据权利要求1所述的方法，其特征在于，所述计算所述第一冲突词的贡献值，记做第一贡献值，包括：

按照下述公式计算所述第一贡献值：

R₁＝F₁1×L₁1+F₁2×L₁2+F₁3×L₁3...+F₁n×L₁n

其中，R₁为所述第一贡献值，F₁n为第一冲突词中第n个冲突词的词频值，L₁n为第一冲突词中第n个冲突词所在词典表的等级值，n为第一冲突词中冲突词的数量；

所述计算所述第二冲突词的贡献值，记做第二贡献值，包括：

按照下述公式计算所述第二贡献值：

R₂＝F₂1×L₂1+F₂2×L₂2+F₂3×L₂3...+F₂m×L₂m

其中，R₂为所述第二贡献值，F₂m为第二冲突词中第m个冲突词的词频值，L₂m为第二冲突词中第m个冲突词所在词典表的等级值，m为第二冲突词中冲突词的数量。

3.根据权利要求2所述的方法，其特征在于，在所述对同一个目标字符串分别进行正向匹配分词和逆向匹配分词之前，所述方法进一步包括：

根据词语类别，将词典中词语分为不同的词典表；

根据所述词典表中词语的使用频率，为所述词典表设置等级值。

4.根据权利要求3所述的方法，其特征在于，所述使用频率与所述等级值成正相关关系。

5.根据权利要求1所述的方法，其特征在于，组成所述第一冲突词的分词在所述正向分词序列中是连续的，组成所述第二冲突词的分词在所述逆向分词序列中是连续的。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法进一步包括：

若所述第一贡献值与所述第二贡献值相等，则将所述第一冲突词和所述第二冲突词中的任意一项记做优质冲突词。