[发明专利]一种精准分词的方法

权利要求书

1.一种精准分词的方法，其特征在于：包括下述步骤：

第一步，预先创建专用语素库群和专用词库群，所述专用数据库群均支持用户自定义增减数据；

第二步，获取文本，根据预先创建的专用数据库群中的多字语素库，通过字符串匹配的分词方法，检索匹配抽取文本中的多字语素，作为分词结果，将剩余的文本进行单字分词，获得单字数据集；

第三步，根据预先创建的专用数据库群中的单字库，通过字符串匹配的分词方法，检索匹配抽取单字数据集中的不成词单字和成词单字，汇总成不成词单字数据集和成词单字数据集；

第四步，分别将不成词单字数据集和成词单字数据集分词。

2.根据权利要求1所述的一种精准分词的方法，其特征在于：其中语素库群包括将不可单独成词的单音节语素汇总成的不成词单字库、将可以单独成词的单音节语素汇总成的成词单字库、将不可以单独成词的双音节和多音节语素汇总成的多字语素库。

3.根据权利要求1所述的一种精准分词的方法，其特征在于：其中专用词库群包含有姓名前缀词数据库、姓名后缀词数据库、机构名称词语数据库、机构部门称呼词语数据库、行业专业术语数据库、特别字词数据库、商标名称词语数据库、企业名称词语数据库、地名数据库、商品名数据库、成语数据库、俗语谚语数据库、词语数据库、短语库、诗词库、文艺作品名称数据库、名人姓名库、姓氏库、方言口头禅词库、网络热词库、绰号外号数据库。

4.根据权利要求3所述的一种精准分词的方法，其特征在于：其中行业专业术语数据库主要根据不同的行业进行分类，其中主要分为互联网、网络、软件与药品。

5.根据权利要求3所述的一种精准分词的方法，其特征在于：其中特别字词数据库主要由年份月份日期以及阿拉伯数字组成。

6.根据权利要求3所述的一种精准分词的方法，其特征在于：其中企业名称词语数据库中的企业名称应当由行政区划、字号、行业分类、组织形式组成。

7.根据权利要求1所述的一种精准分词的方法，其特征在于：其中文本是指电子格式的面向计算机信息处理的中文汉字组合，且文本包括电子文档文本、web页面文本、通讯消息内容文本、通讯录联系人内容文本。

8.根据权利要求1所述的一种精准分词的方法，其特征在于：其中不成词单字数据集的分词操作包含以下步骤：

S1：将不成词单字分别和前面的和后面的一个或多个连续字序列组合，根据预先创建的专用数据库群中的专用词库群，检索匹配识别是否能组合成词，如不能组合成词，将该不成词单字作为分词结果，如能组合成词，则将组合词语汇总成第一备选分词数据集；

S2：按照规则，对第一备选分词数据集进行分词。

9.根据权利要求8所述的一种精准分词的方法，其特征在于：其中第一备选分词数据集的分词操作包含三个规则：

规则1：不成词单字只能向左或向右单向组合成词语的，汇总成第一单向分词数据集，如单向分词只有一个词语，将该词语作为分词结果，如单向分词超过一个词语，将最长的词语作为分词结果；

规则2：不成词单字向左和向右双向共同组合成词语的，汇总成第一双向共同分词数据集，如双向共同分词只有一个词语，将该词语作为分词结果，如双向共同分词超过一个词语，将最长的词语作为分词结果；

规则3：不成词单字向左和向右双向均能独立组合成词语的，汇总成第一双向分词数据集；和不成词单字向左或向右组合的字，其中如有不成词单字且该不成词单字不能再向左或向右和其他字组合成词，则将该不成词单字+不成词单字组合成的词语作为分词结果。