[发明专利]基于大数据的文本分词方法、及其相关设备

说明书

本申请实施例属于大数据和人工智能领域，涉及一种基于大数据的文本分词方法、装置、计算机设备及存储介质，方法包括对待处理文本进行预处理，得到由汉字类型词元以及非汉字类型词元构成的语料库；将所述语料库中非汉字类型词元放入一元候选词库；利用前后拼接分词方法，得到二元文本片段集合，三元文本片段集合以及四元文本片段集合；删除所述二元文本片段集合，三元文本片段集合以及四元文本片段集合中满足预设条件的二元候选词、三元候选词、四元候选词，得到二元候选词库、三元候选词库以及四元候选词库。本申请还涉及区块链技术，一元候选词库、二元候选词库、三元候选词库以及四元候选词库均存储于区块链中。本申请缩短了候选词库的长度。

技术领域

本申请涉及大数据和人工智能技术领域，尤其涉及一种基于大数据的文本分词方法、装置、计算机设备及存储介质。

背景技术

随着经济全球化的到来，国内外交流日趋频繁，存在大量中英文混用的情况，因而从中英文混合语料库中提取词的需求也逐步增大。现有技术中，将中英文文段均按照中文字符的方式进行切割，导致语料库膨胀，计算量大的问题。

发明内容

本申请实施例的目的在于提出一种基于大数据的文本分词方法、装置、计算机设备及存储介质，以解决语料库膨胀，计算量大的问题。

为了解决上述技术问题，本申请实施例提供一种基于大数据的文本分词方法，采用了如下所述的技术方案：

对待处理文本进行预处理，得到由汉字类型词元以及非汉字类型词元构成的语料库；

将所述语料库中非汉字类型词元放入一元候选词库；

利用二元分词、三元分词以及四元分词对所述语料库中的汉字类型词元进行前后拼接分词，得到二元文本片段集合，三元文本片段集合以及四元文本片段集合；

删除所述二元文本片段集合，三元文本片段集合以及四元文本片段集合中满足预设条件的二元候选词、三元候选词、四元候选词，得到二元候选词库、三元候选词库以及四元候选词库。

为了解决上述技术问题，本申请实施例还提供一种基于大数据的文本分词装置，采用了如下所述的技术方案：

处理模块，用于对待处理文本进行预处理，得到由汉字类型词元以及非汉字类型词元构成的语料库；

归纳模块，用于将所述语料库中非汉字类型词元放入一元候选词库；

分词模块，用于利用二元分词、三元分词以及四元分词对所述语料库中的汉字类型词元进行前后拼接分词，得到二元文本片段集合，三元文本片段集合以及四元文本片段集合；

删除模块，用于删除所述二元文本片段集合，三元文本片段集合以及四元文本片段集合中满足预设条件的二元候选词、三元候选词、四元候选词，得到二元候选词库、三元候选词库以及四元候选词库。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述的基于大数据的文本分词方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的基于大数据的文本分词方法的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：对待处理文本进行预处理，识别出待文本中的汉字词元与非汉字词元，对词元类型进行标记后，得到由汉字类型词元与非汉字类型词元构成的语料库，将非汉字词组作为一个词元进行分开，将单个字母无意义的英文词组筛选出来，尽管增加了非汉字候选词库的长度，但整体候选词库的长度随非汉字字符的去除而缩小，达到缩小整体候选词库长度的有益效果。

附图说明