[发明专利]一种基于Lucene的动态n元分词方法

摘要

本发明涉及互联网大数据领域，尤其涉及一种基于Lucene的动态n元分词方法。包括1）设置停用词；2）指定不同字符集；3）预处理；4）指定不同字符集的分词颗粒度n；5）分词。本发明通过一种基于Lucene的动态n元分词方法，可将拥有不同字符集的机器数据，动态设置n的值。当词表过于庞大时，可将n的值变大。由于本发明可以设置不同的字符集，例如中文字符集，字母字符集，数字字符集，韩文字符集，日文字符集等，那么可以兼容多种不同国家的语言的分词，解决了Lucene自带分词器和第三方中文分词器中语言不够兼容的缺陷。

主权项

一种基于Lucene的动态n元分词方法，其特征在于，包括以下步骤：1）设置停用词，所述停用词的含义为，不进行分词的词，读到该词直接跳过忽略，即不建立索引的词；2）指定不同字符集，所述不同字符集是需要进行分词的词，即要建立索引的词，也即用户将查询的词；该字符集根据用户需求来指定；3）预处理，将需要进行分词的文档内容，进行以下处理，即将所有的英文大写字母转换成小写字母进行存储，建立索引；将所有全角的字符转换为半角字符进行存储，建立索引；将所有的中文繁体字转化为中文简体进行存储，建立索引；4）指定不同字符集的分词颗粒度n，对步骤2）中指定的字符集指定不同的分词方式，即设置分词的颗粒度n；5）分词，5‑1）逐字读取文件内容，判断读取内容是否为空；如果读取内容为空就直接结束本步骤；不为空，进入下一步；5‑2）判断是否是停用词，如果是停用词，直接跳过，从该停用词后面的内容开始，进入步骤5‑1）读取文件内容；如果不是停用词，进入下一步；5‑3）判断步骤5‑2）中读取字符的字符类型，根据字符类型和步骤4）中预设的颗粒度进行循环读取词汇，直到下一个字符的字符类型不为步骤5‑2）中读取字符的字符类型或者是停用词；5‑4）将步骤5‑3）中读取到的字符串根据相应的颗粒度进行分词，建立索引；5‑5）回到步骤5‑1），直到读取字符为空，即文件内容读完，结束分词。