[发明专利]一种精准分词的方法

说明书

本发明涉及精准分词技术领域，且公开了一种精准分词的方法，包括下述步骤：第一步，预先创建专用语素库群和专用词库群；第二步，获取文本，根据预先创建的专用数据库群中的多字语素库，通过字符串匹配的分词方法，检索匹配抽取文本中的多字语素，作为分词结果，将剩余的文本进行单字分词。该精准分词的方法通过预先创建专用数据库群，将专用数据库群通过字符串匹配的分词方法检索匹配抽取文本中的数据汇总成不成词单字数据集和成词单字数据集，再通过对不成词单字数据集和成词单字数据集按照不同的规则进行分词，该精准分词的方法在使用过程中分词的准确度更高，使得机器能够更快更好地学习和识别人类语言，实用性更强。

技术领域

本发明涉及精准分词技术领域，具体为一种精准分词的方法。

背景技术

分词就是将句子切分成一个一个单独的词，是将连续的句子按照一定的规范重新组合成词序列的过程，随着自然语言处理人工智能技术的不断发展，机器能够不断识别人类的语言与人类进行交互，实现机器识别人类语言的第一步是将句子切分为单独的词，因此分词技术至关重要，但是现有的精准分词方法准确性不佳，机器难以快速的识别人类语言。

发明内容

针对现有技术的不足，本发明提供了一种精准分词的方法，解决了现有的精准分词的方法准确性不佳，机器难以快速的识别人类语言的问题。

本发明提供如下技术方案：一种精准分词的方法，包括下述步骤：

第一步，预先创建专用语素库群和专用词库群，所述专用数据库群均支持用户自定义增减数据；

第二步，获取文本，根据预先创建的专用数据库群中的多字语素库，通过字符串匹配的分词方法，检索匹配抽取文本中的多字语素，作为分词结果，将剩余的文本进行单字分词，获得单字数据集；

第三步，根据预先创建的专用数据库群中的单字库，通过字符串匹配的分词方法，检索匹配抽取单字数据集中的不成词单字和成词单字，汇总成不成词单字数据集和成词单字数据集；

第四步，分别将不成词单字数据集和成词单字数据集分词。

优选的，其中语素库群包括将不可单独成词的单音节语素汇总成的不成词单字库、将可以单独成词的单音节语素汇总成的成词单字库、将不可以单独成词的双音节和多音节语素汇总成的多字语素库。

优选的，其中专用词库群包含有姓名前缀词数据库、姓名后缀词数据库、机构名称词语数据库、机构部门称呼词语数据库、行业专业术语数据库、特别字词数据库、商标名称词语数据库、企业名称词语数据库、地名数据库、商品名数据库、成语数据库、俗语谚语数据库、词语数据库、短语库、诗词库、文艺作品名称数据库、名人姓名库、姓氏库、方言口头禅词库、网络热词库、绰号外号数据库。

优选的，其中行业专业术语数据库主要根据不同的行业进行分类，其中主要分为互联网、网络、软件与药品。

优选的，其中特别字词数据库主要由年份月份日期以及阿拉伯数字组成。

优选的，其中企业名称词语数据库中的企业名称应当由行政区划、字号、行业分类、组织形式组成。

优选的，其中文本是指电子格式的面向计算机信息处理的中文汉字组合，且文本包括电子文档文本、web页面文本、通讯消息内容文本、通讯录联系人内容文本。

优选的，其中不成词单字数据集的分词操作包含以下步骤：

S1：将不成词单字分别和前面的和后面的一个或多个连续字序列组合，根据预先创建的专用数据库群中的专用词库群，检索匹配识别是否能组合成词，如不能组合成词，将该不成词单字作为分词结果，如能组合成词，则将组合词语汇总成第一备选分词数据集；

S2：按照规则，对第一备选分词数据集进行分词。

优选的，其中第一备选分词数据集的分词操作包含三个规则：