[发明专利]一种基于lucene全文检索的中文分词方法

权利要求书

1.一种基于lucene全文检索的中文分词方法，其特征在于该方法具体步骤如下：

1)将字典以每行一个词的形式存储在数据库中；

2)将数据库中的字典以树的形式缓存在服务器中；

3)输入需要分词的文本信息；

4)文本逐字匹配缓存中的字典树，输出匹配成功的最长的词语；

5)输出分词结果。

2.根据权利要求1所述的基于lucene全文检索的中文分词方法，其特征在于：步骤2)中，缓存中的字典一共分为主词典、停止词词典和量词字典三个，用户可根据需要增加拓展词典，拓展词典的词条在缓存中增加在主词典之中；三个字典在服务器中以树的数据结构形式缓存。

3.根据权利要求1所述的基于lucene全文检索的中文分词方法，其特征在于：步骤4)中，依次取出输入文本的单个词元，首先进行该字符与其后词元的合并操作，若前后词元符合：英文数词与中文数词、英文数词与中文量词、中文数词与中文量词这三类结构，则直接和其后词元合并得到新的词元，若不满足，依旧判断原先取出的词元；将词元与停止词词典匹配，若匹配上，则放弃该词元，继续取下一个词元；若未匹配上，继续与主词典匹配；主词典若未匹配上，则输出该词元，即该词元分词结束；若匹配上，则将该词元与下一个词元合并，继续重复上述过程。

4.根据权利要求1所述的基于lucene全文检索的中文分词方法，其特征在于：步骤5)中，对步骤4)得到的分词结果，进行同义词分析，即对得到的分词结果，逐一判断是否存在同义词，如存在，则保存时以该组同义词的主词保存，如不存在，以原词保存。