[发明专利]基于大数据的文本分词方法、及其相关设备

权利要求书

1.一种基于大数据的文本分词方法，其特征在于，包括下述步骤：

对待处理文本进行预处理，得到由汉字类型词元以及非汉字类型词元构成的语料库；

将所述语料库中非汉字类型词元放入一元候选词库；

利用二元分词、三元分词以及四元分词对所述语料库中的汉字类型词元进行前后拼接分词，得到二元文本片段集合，三元文本片段集合以及四元文本片段集合；

删除所述二元文本片段集合，三元文本片段集合以及四元文本片段集合中满足预设条件的二元候选词、三元候选词、四元候选词，得到二元候选词库、三元候选词库以及四元候选词库。

2.如权利要求1所述的基于大数据的文本分词方法，其特征在于，所述对待处理文本进行预处理，得到由汉字类型词元以及非汉字类型词元构成的语料库的步骤包括：

调用预设函数将所述待处理文本转换成字节流，顺序读取所述字节流中的字符；

根据所述字节流中各个字符的所占用的存储空间标记字符的字符类型，其中，所述字符类型包括汉字类型以及非汉字类型；

根据各个所述字符的Unicode码将全角字符转换成半角字符；

将转换后的半角字符以及所述待处理文本的半角字符写入新文本，替换所述待处理文本，得到所述语料库。

3.如权利要求2所述的基于大数据的文本分词方法，其特征在于，所述根据各个所述字符的Unicode码将全角字符转换成半角字符的步骤包括：

在所述字符的Unicode码大于或等于U+FF01，且小于或等于U+FF5E时，所述标记后的字符为全角字符，将所述全角字符的Unicode码减去65248，得到对应标记后的半角字符；

在所述字符的编码等于U+3000时，所述标记后的字符为全角字符，将所述全角字符的编码转换成U+0020，得到对应标记后的半角字符。

4.如权利要求1所述的基于大数据的文本分词方法，其特征在于，所述删除所述二元文本片段集合，三元文本片段集合以及四元文本片段集合中满足预设条件的二元候选词、三元候选词、四元候选词，得到二元候选词库、三元候选词库以及四元候选词库的步骤包括：

获取所述二元文本片段集合，三元文本片段集合以及四元文本片段集合中的二元候选词、三元候选词以及四元候选词；

分别获取各个所述二元候选词在所述语料库中的频率，各个所述三元候选词在所述语料库中的频率，各个所述四元候选词在所述语料库中的频率；

在所述二元候选词、三元候选词以及四元候选词的频率小于对应的预设频率时，满足所述预设条件，删除满足预设条件的二元候选词、三元候选词、四元候选词，得到二元候选词库、三元候选词库以及四元候选词库，所述预设条件包括所述二元候选词、三元候选词以及四元候选词的频率中的一个或多个小于对应的预设频率。

5.如权利要求1所述的基于大数据的文本分词方法，其特征在于，所述删除所述二元文本片段集合，三元文本片段集合以及四元文本片段集合中满足预设条件的二元候选词、三元候选词、四元候选词，得到二元候选词库、三元候选词库以及四元候选词库的步骤包括：

获取所述二元文本片段集合，三元文本片段集合以及四元文本片段集合中的二元候选词、三元候选词以及四元候选词；

获取各个二元候选词、三元候选词以及四元候选词的自由度以及凝合度；

若所述二元候选词、三元候选词以及四元候选词的自由度小于所述候选词对应的预设自由度，或所述二元候选词、三元候选词以及四元候选词的凝合度小于所述候选词对应的预设凝合度，则满足所述预设条件，删除满足预设条件的二元候选词、三元候选词、四元候选词，得到二元候选词库、三元候选词库以及四元候选词库。