[发明专利]基于大数据的文本分词方法、及其相关设备

摘要

本申请实施例属于大数据和人工智能领域，涉及一种基于大数据的文本分词方法、装置、计算机设备及存储介质，方法包括对待处理文本进行预处理，得到由汉字类型词元以及非汉字类型词元构成的语料库；将所述语料库中非汉字类型词元放入一元候选词库；利用前后拼接分词方法，得到二元文本片段集合，三元文本片段集合以及四元文本片段集合；删除所述二元文本片段集合，三元文本片段集合以及四元文本片段集合中满足预设条件的二元候选词、三元候选词、四元候选词，得到二元候选词库、三元候选词库以及四元候选词库。本申请还涉及区块链技术，一元候选词库、二元候选词库、三元候选词库以及四元候选词库均存储于区块链中。本申请缩短了候选词库的长度。