[发明专利]一种基于中文检索的分词方法及装置

摘要

本发明提供了一种基于中文检索的分词方法和装置，能够比较准确地切分中文字串而不丢失其语义，分词结果比较准确，有利于提高查询的准确度，可应用于信息检索领域的自动文摘和自动分类系统。

主权项

一种基于中文检索的分词方法，其特征是，通过由中央处理器、输入输出设备、寄存器、机器词典、存储器组成的装置对中文字串S=C1C2C3C4…Cn进行分词，包括以下步骤：(1) 中央处理器从输入输出设备读入中文字串S=C1C2C3C4…Cn，放入寄存器中；(2) 从寄存器中取出S中的第一个字C1，在机器词典中匹配查找是否存在以C1为前缀的词，如果有，在存储器中保存为成词标记；(3) 再从S中取出下一个字C2，和机器词典进行匹配，判断是否存在以C1C2为前缀的词；(4) 如果不存在，则将C1从字串S中切分出来，保存在存储器中，一次分词结束；(5) 如果存在，则再判断一下C1C2是否成词，计算以C1C2为前缀的词的个数n；(6) 如果n=0，则一次分词结束；(7) 如果n不为0，则再从S中取出一个字Ci，和词典进行匹配，判断是否存在以C1C2…Ci为前缀的词；(8) 如果存在，则转到(7)；(9) 如果不存在，则将C1C2…Ci‑1从字串S中切分出来，保存在存储器中，一次分词结束；(10)从字串S的字Ci开始继续进行分词，重复上述步骤，直到字串S正向切分结束；(11) 从寄存器中取出S中的最后一个字Cn，在机器词典中匹配查找是否存在以Cn为后缀的词，如果有，在存储器中保存为成词标记；(12) 再从S中取出一个字Cn‑1，和机器词典进行匹配判断是否存在以Cn‑1 Cn为后缀的词；(13) 如果不存在，则将Cn从字串S中切分出来，保存在存储器中，一次分词结束；(14) 如果存在，则再判断一下Cn‑1Cn是否成词，计算以Cn‑1Cn为后缀的词的个数n；(15) 如果n=0，则一次分词结束；(16) 如果n不为0，则再从S中取出一个字Ci，和机器词典进行匹配判断是否存在以Ci…Cn‑1Cn为后缀的词；(17) 如果存在，则转到(16)；(18) 如果不存在，则将Ci+1…Cn‑1Cn从字串S中切分出来，保存在存储器中，一次分词结束；(19) 从字串S的字Ci开始继续进行分词，重复上述步骤，直到字串S逆向切分结束；(20) 将保存在存储器中的分词结果通过输入输出设备输出。