[发明专利]一种基于大数据和中文特征的中文文本分词方法

权利要求书

1.一种基于大数据和中文特征的中文文本分词方法，其特征在于，第一步：首先建立文本库；第二步：然后对文本库中的文章进行分词；第三步：再对切分词组进行拼接；第四步：拼接得到的词组进行词频统计；第五步：之后对不同候选词库中的词组进行相似度计算；第六步：最后对候选词库进行整合优化形成行业词典。

2.根据权利要求1所述的一种基于大数据和中文特征的中文文本分词方法，其特征在于，第一步中，建立文本库：充分利用大数据技术，通过爬虫手段爬取全网中文文本，构建千万规模的文本库，对源数据进行清洗，使得过滤后的数据格式只包含中文，英文及数字。

3.根据权利要求1所述的一种基于大数据和中文特征的中文文本分词方法，其特征在于，第二步中，对文本库中的文章进行分词即取一个训练语料，按照从左到右逐字切分，取出全部候选字，标记索引位置并存入数据库，如数据库A。

4.根据权利要求1所述的一种基于大数据和中文特征的中文文本分词方法，其特征在于，第三步中，对切分词组进行拼接，即在单个字的基础上索引位置往后延伸1,形成二元词，在二元词的基础上索引位置往后延伸1，形成三元词，以此类推，字长为N的候选词与右邻字拼接, 产生字长为N+1的新候选词，直到字段长度达到要求。

5.根据权利要求1所述的一种基于大数据和中文特征的中文文本分词方法，其特征在于，第四步中，对拼接得到的词组进行词频统计即统计不同字长的词组出现的频率，取词频大于阈值(如80%)的词组，分别存入不同候选词库，如将二元词存入数据库B，三元词存入数据库C，以此类推。

6.根据权利要求1所述的一种基于大数据和中文特征的中文文本分词方法，其特征在于，第五步中，对不同候选词库中的词组进行相似度计算，即比较字长为N和字长为N+1的词出现频率，若后者的频率比上前者的出现频率大于阈值(如80%)，则判定前者为无效词，存入无效词库中。

7.根据权利要求1所述的一种基于大数据和中文特征的中文文本分词方法，其特征在于，第六步中，对候选词库进行整合优化，从所有候选词库中删去无效词, 建立高频词库，并对高频词库进行优化,剔除无意义字符,如连词和介词,建立行业词典。