[发明专利]一种基于词库的动态规划中文分词方法

摘要

一种基于词库的动态规划中文分词方法，其特征在于，包括如下步骤：（1）加载常用中文词库；（2）加载非常用中文词库；（3）读入中文文本，获得当前中文文本内容；（4）对于中文文本进行分句，将中文文本分成一个个短句；（5）进行动态规划中文自动分词；（6）从最后一个词开始扫描，得到分词结果进行词性分析加入词性标注，输出结果；（7）将未登录词存入非常用中文词库；（8）判断文本是否结束；若否，转入步骤（4），进行循环处理。本发明的有益效果为：准确率高、效率快，分词精度可达到与人类类似的水平，分词速度可达到每秒2MB以上。

主权项

一种基于词库的动态规划中文分词方法，其特征在于，包括如下步骤：（1）加载常用中文词库；（2）加载非常用中文词库；（3）读入中文文本，获得当前中文文本内容；（4）对于中文文本进行分句，将中文文本分成一个个短句；（5）进行动态规划中文自动分词；寻找第一个词的可能位置，记F[i]表示当前分到第i个字分到的最少词数；对于每个字开始转移，从当前字开始寻找转移，寻找他前一个词；当F[i]<F[j]+1，进行转移，从而存储当前最长的词为结果；（6）从最后一个词开始扫描，得到分词结果进行词性分析加入词性标注，输出结果；（7）将未登录词存入非常用中文词库；（8）判断文本是否结束；若否，转入步骤（4），进行循环处理。