[发明专利]一种中文分词方法、装置以及搜索词库读取方法

说明书

为了克服现有技术的不足，本发明提供了一种中文分词方法、装置以及搜索词库读取方法，包括：根据输入的最大词长，对待分词语句进行分词，得到第一次分词结果；将最大词长的长度逐渐减少，并且在每一次最大词长发生变化时，都对所述待分词语句进行分词，得到第N次分词结果；将第一次分词结果直至第N次分词结果分别与词库比较，得到输出列表。本发明能够准确的对待分词语句进行分词，尤其能够提升位于待分词语句中间的固定词语的识别率。本发明所述的方法具有分词效率高，分词结果准确的优点。

技术领域

本发明涉及计算机技术领域，特别是一种中文分词方法及装置、系统、电子装置、可存储介质及搜索词库读取方法。

背景技术

分词技术属于自然语言理解技术的范畴,是语义理解的首要环节,它是能将语句中的词语正确切分开的一种技术。它是文本分类,信息检索,机器翻译,自动标引,文本的语音输入输出等领域的基础。而由于中文本身的复杂性及其书写习惯,使中文分词技术成为了分词技术中的难点。

中文分词基本算法近年来人们对中文分词技术有了一定的研究,提出了多种多样的中文分词算法。目前的基于词典的方法又叫做机械分词方法,它是按照一定的策略将待分析的汉字串与一个“充分大的机器词典”中的词条进行匹配,若在词典中找到某个字符串,则匹配成功。按照扫描方向的不同,该分词方法可以分为正向匹配和逆向匹配；按照长度的不同,可以分为最大匹配和最小匹配。

其中，正向最大匹配算法思想:(1)从左往右取待切分汉语句的m个字符作为匹配字段,其中m为机器可读词典中最长词条的汉字个数。(2)查找机器可读词典并进行匹配。若匹配成功,则将这个匹配字段作为一个词切分出来；若匹配不成功,则将这个匹配字段的最后一个字去掉,剩下的字符串作为新的匹配字段,进行再次匹配。重复以上过程,直到切分出所有词为止。

逆向最大匹配算法思想:该算法是对正向最大匹配算法的逆向思维,主要是从右往左对字符串进行最大匹配。匹配成功,则将这个匹配字段作为一个词切分出来；若匹配不成功,则将这个匹配字段的最前一个字去掉,剩下的字符串作为新的匹配字段,进行再次匹配。重复以上过程,直到切分出所有词为止。实验表明逆向最大匹配算法效果要优于正向最大匹配算法。

可见，对于正向最大匹配算法思想和逆向最大匹配算法思想而言，需要对待分词语句进行增加或者减少一个单字直至剩下一个单字再终止的过程，在这个过程中，如果遇到固定词汇在中间时，可能会出现误分词，影响分词结果的准确性。

发明内容

为了克服现有技术的不足，本发明提供了中文分词方法、装置以及搜索词库读取方法，用于解决前述技术问题中的至少一个。

具体地，其技术方案如下：

一种中文分词方法，包括：

根据输入的最大词长，对待分词语句进行分词，得到第一次分词结果；

将最大词长的长度逐渐减少，并且在每一次最大词长发生变化时，都对所述待分词语句进行分词，得到第N次分词结果；

将第一次分词结果直至第N次分词结果分别与词库比较，得到输出列表。

所述“根据输入的最大词长，对待分词语句进行分词”，包括：

人为输入最大词长的长度，并进行标记，得到标记词长；

对所述待分词语句按照标记词长的长度进行分词，得到第一次分词结果；

将所述第一次分词结果与所述词库进行对比，得到所述待分词语句中的最长词。

所述“对所述待分词语句按照标记词长的长度进行分词，得到第一次分词结果”，包括：

根据语意顺序，以所述标记词长的长度正向分解所述待分词语句，得到正向分解后的分词结果；